AIチップメーカーのSambaNova Systemsは、Samba-CoE v0.2という大規模言語モデル(LLM)に関する大きな進展を発表しました。このモデルは、1秒あたり330トークンを処理し、Databricksの新しいDBRXやMistralAIのMixtral-8x7B、Elon MuskのxAI Grok-1などの競合を凌駕しています。
この成果の特筆すべき点は、その効率性です。Samba-CoE v0.2は、精度を損なうことなく高速度で動作し、576ソケットを必要とする代替手段に対してわずか8ソケットで済むのです。私たちのテストでは、このLLMがミルキーウェイに関する425ワードの回答をわずか1秒で330.42トークン生成しました。また、量子コンピューティングに関する質問では、332.56トークンという驚異的な速さで応答しました。
効率の向上
SambaNovaの戦略は、少ないソケットで高ビットレートを維持することにより、コンピューティング効率に重要なブレークスルーをもたらしています。また、LeptonAIとの協力によるSamba-CoE v0.3のリリース予定も発表され、進化を続ける姿勢が明らかです。
これらの進展は、Samba-1とSambaverseからのオープンソースモデルに基づいており、独自のアンサンブルおよびモデル統合のアプローチを採用しています。この方法論は、現バージョンを支えるだけでなく、将来的な発展のスケーラブルな道筋を示唆しています。
GoogleAIのGemma-7B、MistralAIのMixtral-8x7B、MetaのLlama2-70B、Alibaba GroupのQwen-72B、TIIuaeのFalcon-180B、BigScienceのBLOOM-176Bなどの他モデルとの比較から、Samba-CoE v0.2の競争力が浮き彫りになっています。この発表は、AIと機械学習コミュニティ内での関心を高め、効率性、パフォーマンス、AIモデルの進化に関する議論を促進することでしょう。
SambaNovaの背景
2017年にカリフォルニア州パロアルトでKunle Olukotun、Rodrigo Liang、Christopher Réによって設立されたSambaNova Systemsは、当初はカスタムAIハードウェアチップに焦点を当てていました。しかし、そのミッションは、機械学習サービスや、2023年初頭に立ち上げられた包括的な企業向けAIトレーニング、開発、展開プラットフォームであるSambaNova Suiteなど、多岐にわたる提供へと拡大しました。今年早々には、50の小規模モデルを統合した1兆パラメータのAIモデルSamba-1を発表しました。
ハードウェア中心のスタートアップからフルサービスのAIイノベーターへと進化を遂げたこの移行は、AI技術をスケーラブルでアクセスしやすいものにするという創業者たちのコミットメントを反映しています。SambaNovaは、2021年に60億ドル以上の評価額で676百万ドルのSiriーズD資金を調達し、Nvidiaなどの業界大手と競争する強力な存在となりました。現在、同社はGroqのような他の専業AIチップスタートアップや、Nvidiaのような既存プレイヤーとも競っています。