アライズ、AIモデルの失敗を特定するためのプロンプト変数モニタリングを導入

Arize AIは、オブザーバビリティサービスを提供する企業で、新たにプロンプトデータが大規模言語モデル(LLM)のエラーや幻覚を引き起こすタイミングを特定するためのツールを発表しました。このツールはAIエンジニア向けに設計されており、複雑なシステムのデバッグに必要な重要な洞察を提供します。しばしばわずか数行のコードから発生する問題の特定が可能です。

共同創業者でCEOのジェイソン・ロパテッキは、「私たちは皆プロンプトエンジニアです。自分たちのプロンプトを作成しています。多くのアプリケーションはテンプレートプロンプトを使用しており、これによりさまざまなデータセットに繰り返し適用し、ユーザーの質問に対する良い答えを得られます。しかし、これらのテンプレートは、システムから取得したプロンプト変数に依存しているため、わずかなデータの不一致でもLLMの出力に幻覚やエラーを引き起こす可能性があります」と述べています。

特にAI駆動のカスタマーサービスやサポートチャットボットの文脈では、誤った情報がブランドの評判を損なう可能性があるため、プロンプト変数の監視が重要です。単一のLLMを管理することは監視を簡素化しますが、企業はOpenAI、Google、Meta、Anthropic、Mistralなどの複数のモデルを採用しているため、この監視は非常に重要になります。

ロパテッキは、幻覚の主な原因として誤情報を指摘しています。これらのエラーの発生源(モデルに供給されるデータ、選択されたプロンプトテンプレート、その他の要因)を特定することが、効果的なシステム修理において不可欠です。

可変性を理解することも重要です。これは、微小な調整や誤ったデータ入力によって影響を受けるAIモデルの出力範囲を指します。「意思決定プロセスは単なる入力-出力のシナリオではありません。AIの出力は次のAIの決定にフィードバックされ、変動が重大な問題に発展する複雑な網を形成します」とロパテッキは説明しました。

Arizeは、先進的なLLMを活用して洗練されたAIシステムを構築するAIエンジニアのために特化したツールを開発しています。「これらのエンジニアは、アプリケーションの知性を高めるための堅牢なツールを必要としています。AIエンジニアの役割は今後数年間で普及するでしょう」と彼は述べています。

ロパテッキは、Arizeを「AIのためのDatadog」とすることを目指し、AIモニタリングに進出したクラウドモニタリングの巨人に対抗する立場に位置づけています。「Datadogとは異なり、私たちはAIの分野で生まれました。革新のペースが速く、彼らはまだAI製品の開発を行っています」と彼は言います。

効果的なAIソリューションの提供の緊急性を強調します。「企業が導入を急ぐ中、しばしば限られたシナリオのみをテストします。実際の運用が始まると可変性や潜在的な問題が顕在化し、多くの予期しない課題が発生します。効果的なデバッグツールの必要性は急務であり、企業はどれほど多くのことがうまくいかないかを認識し始めています。」

Most people like

Find AI tools in YBX