パトロナスAI、AIハレーシネーションと著作権問題に立ち向かうため1700万ドルを調達し、企業の導入を加速

企業が生成的AIを迅速に導入する中、大規模言語モデル（LLMs）の正確性と安全性に関する懸念が広範な導入を妨げる恐れがあります。これらの課題に取り組むのが、サンフランシスコのスタートアップ「Patronus AI」です。Patronus AIは、最近のSiriーズAラウンドで1700万ドルを調達し、大規模に高コストまたは危険なLLMのエラーを自動的に特定するプラットフォームを構築しています。この資金調達により、Patronus AIの総投資額は2000万ドルに達しました。資金レベルを引き上げたのはNotable Capitalのグレン・ソロモン氏で、Lightspeed Venture Partners、元DoorDashの幹部ゴクール・ラジャラム氏、Factorial Capital、Datadog、そして数名の未公開のテクノロジーリーダーからも寄付がありました。

Patronus AIは、元Metaの機械学習専門家アナンド・カンナパンとレベッカ・チャンによって設立され、LLMの出力における幻想（ハルシネーション）、著作権侵害、安全リスクなどの問題を検出する自動評価プラットフォームを開発しました。このプラットフォームは独自のAIを使用し、モデルのパフォーマンスを評価したり、敵対的事例でストレステストを行ったり、詳細なベンチマーク作成を手助けしたりします。すべての作業は、従来の企業が必要とする手動の作業なしで行われます。

Patronus AIのCEO、カンナパン氏は、「我々の製品は多様なエラーを検出するのに優れています。具体的には、幻想、著作権関連の問題、安全リスク、ブランドのスタイルやトーンを維持するための特化した機能を含みます」と述べています。

OpenAIのGPT-4やMetaのLlama 3などの強力なLLMの登場は、Siriコンバレーにおいてこの技術の生成能力を活用しようとする競争を引き起こしています。しかし、その興奮の裏には、CNETによるエラーを含むAI生成の記事や、LLMの不正確さから影響を受けて研究論文を撤回した医薬品発見企業など、顕著なモデルの失敗があります。

これらの失敗は、Patronus AIが解決を目指す現在のLLM内の深刻なシステム問題を浮き彫りにしています。同社の研究には、最近発表された「CopyrightCatcher」APIや「FinanceBench」ベンチマークが含まれ、リーディングモデルが正確で事実に基づいた回答を提供する能力には驚くべき欠陥があることを示しています。

「FinanceBench」ベンチマークでは、PatronusはGPT-4などのモデルを公開されたSECの申告書を使って金融クエリを評価しました。その結果、最高のモデルでも関する質問の正答率はわずか19%に留まりました。「CopyrightCatcher」APIを使った別の評価では、オープンソースのLLMが著作権で保護されたテキストをそのまま再現するケースが44%に及びました。

CTOのチャン氏は、「最先端のモデルでも、財務関連での正確性は90%にしか達していません。当社の調査結果は、オープンソースモデルが高リスク領域で20%以上の危険な応答を出すことを示しています。著作権侵害は大きな懸念であり、大手出版社やメディア企業は警戒が必要です」と述べました。

Credo AIやWeights & Biasesのような他のスタートアップもLLM評価ツールを開発していますが、Patronusは研究重視のアプローチで際立っています。同社の核心技術は、LLMが失敗する特定のシナリオを特定するために専用の評価モデルを訓練することです。

カンナパン氏は、「当社の研究と技術の深さに匹敵する企業はありません。私たちの戦略は独特で、評価モデルの訓練、アラインメント技術の革新、研究の公開に根ざしています」と主張しています。

Patronus AIは自動車、教育、金融、ソフトウェアなどの分野で数社のフォーチュン500企業から信頼を受けており、LLMの安全な導入をサポートしています。新たな資金の投入により、Patronusは研究、エンジニアリング、営業チームの拡大を計画しており、さらなるベンチマークの開発を目指しています。

もしPatronusがそのビジョンを実現すれば、自動化されたLLM評価は企業にとって不可欠なものとなり、クラウド導入を加速させるセキュリティ監査の役割に匹敵する存在になるでしょう。チャン氏は、Patronusとのテストがコードのユニットテストのように日常的なものと成る未来を描いています。「当社のプラットフォームは法務や医療など、さまざまな分野で適用可能です。我々の目標は、あらゆる業界の企業がLLMを活用できるようにし、それぞれの要件を遵守できるようにすることです」と説明します。

LLMのパフォーマンス検証の複雑さは、そのブラックボックスの特性と広範な出力の可能性に起因しますが、PatronusはAI評価の進展に尽力しています。自動化されたテストの限界を押し広げることで、実世界のアプリケーションにおけるLLMの責任ある展開を促進することを目指しています。

カンナパン氏は、「これらの生成モデルが示す多様な行動範囲のため、LLMのパフォーマンス測定の自動化は困難です」と認識しています。「しかし、我々の研究主導の方法論は、手動テストでは決して見つけられないエラーを信頼性高くスケーラブルに特定することを可能にします。」