MetaAI、モバイルデバイス向けに最適化されたコンパクト言語モデルを発表

Home AIニュース MetaAI、モバイルデバイス向けに最適化されたコンパクト言語モデルを発表

Meta AI研究者たちは、スマートフォンやリソースが限られたデバイスに最適化された効率的な言語モデルを開発する新たな手法「MobileLLM」を発表しました。この研究は、効果的なAIモデルには大規模である必要があるという従来の考え方に挑戦しています。2024年6月27日にリリースされたこの技術は、10億未満のパラメータでモデルの最適化を目指しました。これは、1兆を超えるパラメータを持つGPT-4に比べ、著しく小さいサイズです。

MetaのAI最高科学者、ヤン・ルカン氏は、モバイルLLMに関する重要な情報をX（旧Twitter）で共有しました。

MobileLLMの主な革新点

- 幅よりも深さを強調

- 埋め込み共有とグループ化されたクエリアテンションを実装

- ブロック単位のウェイト共有技術を導入

これらの戦略的な決定により、MobileLLMは同程度のサイズの従来モデルに対して2.7%から4.3%の精度向上を達成しました。この改善は一見小さいかもしれませんが、言語モデル開発における重要な進展を示しています。

驚くべきことに、350百万パラメータのMobileLLMは、特定のAPI呼び出しタスクにおいて、7億パラメータのLLaMA-2モデルと同等の精度を誇ります。これにより、コンパクトなモデルでも類似のパフォーマンスを発揮し、必要な計算資源を大幅に削減できることが示されています。

Zechun Liuらによる出版物「MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases」は、この進展を強調しています。

MobileLLMの開発は、より効率的なAIモデルの創出への関心の高まりを反映しています。非常に大規模な言語モデルの進展が飽和に近づく中、研究者たちはコンパクトで専門的な設計にますます注目しています。MobileLLMは効率性とデバイス上での導入を重視しており、一部の専門家が「Small Language Models（SLMs）」と呼ぶカテゴリーに位置しています。

現段階ではMobileLLMは公開されていませんが、Metaは事前訓練コードをオープンソース化しており、研究者がこの成果を基にした開発を行えるようにしています。この技術が進化することで、個人デバイス上のAI機能が向上する可能性がありますが、具体的なタイムラインや機能はまだ不明です。

全体として、MobileLLMは高度なAI技術をよりアクセスしやすく、持続可能にする重要な進歩を示しています。効果的な言語モデルは巨大でなければならないという考えに挑戦し、個人デバイス上での新しいAIアプリケーションの道を拓くかもしれません。

Microsoft、AI処理基準を革新する「MInference」デモを発表

ヘビア、1.3億ドルの資金調達で知識検索のAIプラットフォームを構築へ