ZyphraがZambaを発表：AIデバイス普及を加速する革新的なSSMハイブリッド基盤モデル

Home AIニュース ZyphraがZambaを発表：AIデバイス普及を加速する革新的なSSMハイブリッド基盤モデル

Zyphra Technologiesが人工知能をさらに分散化する革新的な基盤モデルを発表

Zyphra Technologiesは、人工知能（AI）のさらなる分散化を目指した画期的な基盤モデル、Zambaを発表しました。Zambaは、70億パラメータを持つオープンソースのAIモデルで、同社のMambaブロックとグローバル共有アテンションレイヤーを活用しています。この革新モデルは、さまざまなデバイスでの知能向上を図りつつ、推論コストを大幅に削減することを目的としています。

あらゆるデバイス向けのAI

Zyphra TechnologiesのCEO、クリティク・プタラット氏は、「私たちのビジョンは、あなた自身のAIを創造することです。私たちの使命は、人々のつながりを改善することです。テクノロジーやソーシャルメディアは、よりつながりのある充実した世界を約束しましたが、実際には限界がありました。私たちはAIの未来を変革することを目指しています」と述べました。

プタラット氏は、主要企業によるAIの中央集権が深刻な問題であると強調しました。「OpenAIやAnthropicのような企業は、万人向けの巨大なモデルをクラウド上に構築しています。このアプローチには限界があり、これらのシステムへの信頼感が欠如し、AIは非人格的な存在として感じられます。ChatGPTは有益な応答を提供しますが、本当の記憶やパーソナライズ、時間に応じた適応能力が不足しています」。

小型言語モデルの価値

Zyphraの70億パラメータモデルは、OpenAIやAnthropic、Metaの数十億パラメータの大規模モデルと比べると制約があるように見えますが、Zyphraの戦略は小型言語モデル（SML）の展開に焦点を当てています。これにより、日常デバイスへのAI統合が最適化されます。

共同創業者兼チーフサイエンティストのベレン・ミリッジ氏は、「初期モデルのBlackMambaは10億パラメータを持ち、コンセプトの証明として機能しましたが、70億パラメータは意義ある対話に最適です。このサイズにより、ほとんどすべてのデバイスでのローカル運用が可能です」と説明しました。対照的に、大規模モデルは強力なGPUクラスタを必要とし、多くのユーザーには手が届かないため、Zyphraの分散化への取り組みを裏付けています。

確立されたモデルとの競争

Zyphraは、ZambaがLLaMA 1、LLaMA 2 7B、OLMo-7Bなどの他のオープンソースモデルに対して優れたパフォーマンスを発揮し、標準ベンチマークでの評価でそれらを上回っていると主張します。初期テストは内部で行われましたが、今後Zyphraはモデルの重みを公開し、一般からの評価を受け付ける予定です。

Zambaのアーキテクチャの開発について、ミリッジ氏は、モデルの課題とその解決策に関する実践的直感に基づいたアプローチを採用したと述べました。また、神経科学からのインスピレーションを受けて、脳の機能を模倣する構造を作成しました。Zambaは、Mambaブロックで構成された1つのグローバルメモリブロックを特徴とし、人間の脳における大脳皮質と海馬の相互作用に似た効率的な情報共有を可能にします。

Zyphraのプロセスには大規模な実験が含まれました。ミリッジ氏は「直感だけでは不十分です。何が機能するか、何が機能しないかを発見するために実験を行い、それに応じて反復しなければなりません」と指摘しました。

オープンソースのZamba基盤モデルは現在Hugging Faceで利用可能で、ユーザーにその機能を探求するよう招待しています。

プラットフォームとプラットフォーム化：ジョージ・カーツが語るクラウドストライクがサイバーセキュリティの主導権を握る理由

スタンフォード報告：AIが複数の分野で人間を凌駕、しかしコストは依然として高騰中