H2O AIがダニューブを発表：モバイルアプリ向けに最適化された超小型LLM

本日、オープンソースおよび専有ツールを通じてAIの民主化を目指すH2O AIは、モバイルデバイス向けに特化した超軽量大規模言語モデル（LLM）「Danube」の発表を行いました。

「Danube」はヨーロッパで二番目に大きな川にちなんで名付けられたこのオープンソースモデルは、18億のパラメータを持ち、同等のサイズのモデルと比較しても、さまざまな自然言語処理タスクにおいて優れた性能を発揮すると報告されています。これにより、Microsoft、Stability AI、Eleuther AIといった競合他社に並ぶ存在となっています。

今回の発表は、オフラインの生成AIの潜在能力を活用しようとする消費者デバイスを開発する企業の関心が高まる中でなされました。デバイス上でモデルをローカルに実行することで、ユーザーはクラウドサービスに依存せず、迅速な支援を受けられます。

「H2O-Danube-1.8Bをモバイルデバイス向けのポータブルLLMとして導入できることを非常に嬉しく思います。小型でコスト効果の高いハードウェアと効率的なトレーニング技術の進展により、適度なサイズのモデルがよりアクセスしやすくなりました。私たちはH2O-Danube-1.8Bがモバイルオフラインアプリケーションを革新するものと信じています」と、H2OのCEOで共同創設者のスリ・アンバティ氏は述べています。

Danube-1.8B LLMの主な特徴

最近発表されたばかりのH2Oは、Danubeが一般常識推論、読解力、要約、翻訳など、さまざまな自然言語アプリケーションに対してコンパクトなデバイス上で微調整可能であるとしています。

このモデルのトレーニングには、さまざまなウェブソースから集めた1兆トークンを使用し、Llama 2やMistralモデルから得た高度な技術を活用して能力を高めました。

「Llama 2のアーキテクチャをもとに約18億のパラメータを搭載しました。また、ボキャブラリー32,000のLlama 2のトークナイザーを使用し、コンテキスト長は16,384に設定しました。さらに、Mistralのスライディングウィンドウアテンションメカニズム（サイズ4,096）も統合しました」と、同社はHugging Faceで詳述しています。

ベンチマークの結果、Danubeは1-2Bパラメータ範囲のほとんどのモデルと同等、もしくはそれ以上の性能を示しています。たとえば、常識自然言語推論を評価するHellaswagテストでは、69.58%の精度を達成し、1.6億パラメータで2兆トークンで事前トレーニングされたStability AIのStable LM 2に次ぐ成績です。また、高度な質問応答のArcベンチマークでは、Danubeが39.42%の精度で3位にランクインし、MicrosoftのPhi 1.5（13億パラメータ）およびStable LM 2に続きました。

シームレスな導入のためのツール

Danube-1.8BはApache 2.0ライセンスのもとでリリースされ、商業利用が可能です。このモデルをモバイルアプリケーションに実装したいチームは、Hugging Faceからダウンロードし、特定のユースケースに合わせてカスタマイズできます。

H2Oは、今後このプロセスを支援する追加のツールを提供する予定です。さらに、会話専用にチューニングされたモデル「H2O-Danube-1.8B-Chat」も利用可能です。

長期的には、Danubeや同様のコンパクトモデルの導入が、スマートフォンやラップトップでのオフライン生成AIアプリケーションを促進し、メールの要約、タイピング支援、画像編集などのタスクを強化すると期待されています。Samsungはすでにこの方向に向けた一歩を踏み出し、S24スマートフォンSiriーズを発表しました。