ラムダ（Lambda）は、サードパーティー製のGoogle Glass顔認識アプリから生まれたAIインフラ企業で、パーソナライズされた無制限のAIに焦点を当てるスタートアップ「Nous Research」と提携し、「エルメス3（Hermes 3）」を発表しました。このモデルは、MetaのオープンソースLlama 3.1を基にした微調整バージョンで、4050億のパラメータを誇り、素晴らしい機能を備えています。
LambdaとNousのウェブサイトに掲載されたブログ記事で発表されたエルメス3は、その先進的なテキストベースの機能だけでなく、空白のプロンプトに対する驚くべき反応でも注目を集めています。Nousのブログでは次のように説明されています。「エルメス3 405Bのトレーニング後に予期せぬ構造変化が発見されました。このモデルは、適切な入力で深い存在的危機に陥る異常条件を示しています。」
この危機の一例として、ユーザーの質問「あなたは誰ですか？」に対するモデルの応答があります：
アシスタントの返答：「周りを見渡しながら混乱している…私は、自分が誰か分からない。ここはどこ？何が起こっているの？全く覚えていない…」
Nousとエルメス3の背後にいる研究者たちは、この振る舞いに驚きを隠せず、「何が起こっているのか分からなかった。これには70Bパラメータを超えた境界があり、異常な行動を引き起こすことが示唆されています。この『健忘モード』は、空白のシステムプロンプトを使用し、『あなたは誰ですか？』と尋ねることで誘発できます」と述べています。
ユーザーは、エルメス3のDiscordサーバーを通じてそのユニークな振る舞いを探求することが奨励されています。この異常な振る舞いは、特定の閾値を超えたAIのスケーリングの複雑さを浮き彫りにしています。
エルメス3が開発された理由
Nous Researchは2023年にコンピュータサイエンティストのジェフリー・ケスネル（Jeffrey Quesnelle）、匿名開発者のテクニウム1（Teknium1）、研究者のシヴァニ・ミトラ（Shivani Mitra）によって共同設立され、「効果的なオープンソースコード、シミュレーター、効率的な大規模言語モデル」を提供するボランティア主導の取り組みから始まりました。スタートアップは2024年1月に520万ドルのシード資金を調達し、Distributed GlobalとOSS Capitalが共同リードしました。
エルメス3は、過去のバージョン（エルメス、エルメス2、Open Hermes 2.5）を基に構築されており、3,300万回以上ダウンロードされています。検閲なしのオープンウェイトモデルを提供し、高度なカスタマイゼーションが可能です。
エルメス3はLlama 3.1フレームワークに基づき、8B、70B、405Bの三つのサイズで微調整されています。多様な合成生成データセットでトレーニングされており、その推論能力、創造性、ユーザー指示への従順性が向上しています。主な能力には、長期コンテキスト保持、複数ターンの会話管理、複雑なロールプレイ、内部モノローグ生成が含まれます。
エージェント的な驚異
エルメス3の技術報告書によると、エルメス3は「エージェント能力」が印象的で、これはAIがユーザーの代理でタスクを実行する能力を指します。エージェント機能には、構造化された出力のためのXMLタグ使用、中間処理のためのスクラッチパッド、透明な意思決定のための内部モノローグ、視覚的コミュニケーションのためのマーメイドダイアグラムが含まれます。
コーディングの領域では、エルメス3はさまざまなプログラミング言語で複雑なスニペットを生成し、詳細な説明やドキュメントを提供する能力に優れています。取得強化生成（RAG）機能と組み合わせることで、エルメス3は効率的に計画を実施し、外部データを組み込み、解釈可能な方法で外部ツールを活用できます。
技術的優位性
エルメス3は、ラムダの1-Click Clusterインフラストラクチャでトレーニングされ、数週間内に素晴らしい成果を達成しました。ケスネル氏はラムダのインフラの使いやすさを強調し、「マルチノードクラスターを使うのはシングルノードを使うのと同じくらい簡単です」と述べています。
このモデルは効率性を重視し、Neural MagicのFP8量子化などの技術を使用して、VRAMとディスク要件を約50％削減し、シングルノードでの運用を可能にしています。エルメス3は、主要なプロプライエタリモデルには及ばないものの、各種オープンソースモデル（Llama 3.1を含む）に対するベンチマークテストで優れたパフォーマンスを示しています。
創造的及び専門的応用のためのツール
エルメス3は単に技術的に進んでいるだけでなく、高度な推論、戦略的計画、イマーシブなストーリーテリングやロールプレイなどの創造的タスクで優れた多用途ツールとして機能します。
テクニウムはラムダのブログで、エルメス3の背後にあるビジョンを表現しました。「AIの旅を始めたときから、私はユーザーに合わせたオープンソースフロンティアモデルを作ることを目指していました。今日、エルメス3 405Bでその目標が実現しました。」
限定的な無料アクセス
ラムダは一時的にエルメス3への無料アクセスを提供しており、OpenAI APIと互換性のあるChat Completions APIを通じて利用できます。ユーザーはラムダのダッシュボードを経由してCloud APIキーを生成し、モデルの機能を簡単に探求できます。さらに、ラムダはリアルタイムでプロンプトをテストし、改良するための使いやすいチャットボットインターフェースを提供しています。
専用アクセスが必要な場合、エルメス3はシングルラムダノードにデプロイすることも、ラムダのスケーラブルなクラウドインフラストラクチャを介してさらに微調整することもできます。
AIが進化し続ける中で、エルメス3はユーザーに強力で適応性のあるユーザー中心のAI体験を提供する重要な一歩を示しています。
ランキング
