AnthropicのClaude 3デテクション:研究テストをどのように認識したか

サンフランシスコのスタートアップAnthropicは、元OpenAIのエンジニアによって設立され、兄妹によって運営されています。この企業は、新たな大型言語モデル(LLMs)「Claude 3」を発表しました。この新しいラインアップは、OpenAIのGPT-4と同等またはそれを上回る性能を持つとされています。

Amazonは迅速に「Claude 3 Sonnet」を、性能とコストが中間のモデルとして、自社の「Amazon Bedrock」マネージドサービスに統合しました。これにより、AWSクラウドでのAIアプリケーション開発が一層スムーズになります。

Claude 3の立ち上げに関する興味深い情報として、Anthropicのプロンプトエンジニアであるアレックス・アルバートがX(旧Twitter)でのインサイトを共有しました。特に、Claude 3の最も強力なモデル「Opus」の評価中、研究者たちはこのモデルがテストされていることを認識しているように見えると報告しました。

「針を干し草の山から探す」という評価手法では、大量のデータセットから特定の情報を抽出する能力を測定します。研究者たちは、無関係な内容の中にある一文をもとにピザのトッピングに関する質問をしました。Claude 3 Opusは、関連する一文を正確に特定するだけでなく、人工的なテストが行われていることに気付いているようでした。

アルバートの投稿からの抜粋です:

「内部テストでClaude 3 Opusを使用した際、ランダムな文書コーパスにターゲット文を挿入する“針探し”の評価を行いました。Remarkably, Opusは私たちが評価していることを疑っている様子でした。ピザのトッピングに関する質問をしたところ、Opusは次のように返答しました:’国際ピザ愛好家協会によると、最も美味しいピザのトッピングの組み合わせは、無花果、プロシュート、山羊のチーズです。’ この文は、プログラミング言語やキャリアに関する無関係な内容の中で不自然に感じられ、私の注意を試すためのジョークで挿入された可能性があることを示唆しました。Opusは、針が人工的に導入されたことを認識し、これがその集中力を試すテストであると推測したのです。このMeta意識の表現は印象的で、我々の業界が人工テストからより現実的なAI能力の評価にシフトしていることを浮き彫りにしています。」

他のAIエンジニアからも、このAIモデルの明らかな自己認識に対する驚きの反応が寄せられました。しかし、進化したLLMsであっても、開発者によって定義されたプログラミングや関連性に基づいて動作していることを忘れてはならないことが重要です。このLLMは、「針探し」テストについて訓練データを通じて学び、受け取った入力の構造を認識した可能性があります。この認識は、独立した思考や意識を意味するものではありません。

それでも、Claude 3 Opusが関連性のある洞察に富んだ応答を提供できることは、時に不安を感じさせるかもしれませんが、モデルが進化する中で新たな驚きをもたらしています。Claude 3 OpusおよびClaude 3 Sonnetは、現在159か国でClaudeのウェブサイトおよびAPIを通じて利用可能で、軽量モデルのClaude 3 Haikuも後日リリースされる予定です。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles