AI競争の中で、テクノロジー企業がますます大規模な言語モデル（LLM）を開発する中、注目すべきトレンドが浮かび上がっています。それは、「小型モデルが新たなトレンドである」ということです。LLMの進化が停滞しつつある中、研究者や開発者は小型言語モデル（SLM）に目を向け始めています。これらのコンパクトで効率的かつ適応性のあるモデルは、AIの風景を刷新し、「大きいことが常に良い」とする考えに挑戦しています。
LLMの性能は停滞しているのか？
VellumとHuggingFaceによる最近の性能比較では、LLM間のギャップが狭まりつつあることが明らかになっています。特に選択式問題や推論、数学の課題において、トップモデル間の性能差はわずかです。例として、Claude 3 Opus、GPT-4、Gemini Ultraはすべて、選択式シナリオで83%以上のスコアを達成しています。また、推論タスクでも同様に、Claude 3 Opus、GPT-4、Gemini 1.5 Proは92%以上の精度を超えています。
興味深いことに、Mixtral 8x7BやLlama 2 - 70Bといった小型モデルは、特定の分野で優れた成果を上げており、一部の大型モデルを上回っています。これにより、モデルのアーキテクチャやトレーニングデータ、ファインチューニング技術がパフォーマンスにおいて重要な役割を果たしている可能性が示唆されています。これは、「サイズが主な決定要因である」という信念に対する挑戦です。
Uber AIの元責任者であり『Rebooting AI』の著者であるギャリー・マーカスは、「最近の研究はモデル性能の収束を示しています。新しいモデルがGPT-4をわずかに上回ることはありますが、明確な進展は1年以上ありません」と述べています。性能のギャップが縮まる中で、LLMが本当に停滞しているのかについての問いが生じています。このトレンドが続けば、将来のAI開発は単にモデルのサイズを増加させるだけでなく、より効率的な専門アーキテクチャを探る方向にシフトするかもしれません。
LLMアプローチの欠点
強力なLLMにも多くの欠点があります。これらのモデルをトレーニングするには膨大なデータセットと計算資源が必要で、非常にリソースを消費するプロセスです。例えば、OpenAIのCEOSam Altmanは、GPT-4のトレーニングには少なくとも1億ドルの費用がかかったと明らかにしています。LLMの複雑さは開発者にとって急な学習曲線を意味しており、アクセスビリティを阻害しています。企業は単一の機械学習モデルをデプロイするのに90日以上かかることもあり、イノベーションを妨げています。
さらに、LLMは「幻覚」を生成する傾向があり、信頼性のない出力を生み出すことがあります。これは、LLMがトレーニングパターンに基づいて単語を予測するためで、真の理解力が欠けているからです。したがって、高リスクなアプリケーション（医療や自動運転など）では、誤った出力が生じることがあり、リスクを伴います。
LLMの大規模で不透明な特性は、その出力の解釈やデバッグを難しくし、信頼性の確保に不可欠です。また、バイアスのあるトレーニングデータは有害な結果を導く可能性があり、LLMをより信頼性の高いものにする試みがかえって効果を低下させる場合もあります。
小型言語モデル（SLM）の登場
SLMは、LLMが抱える多くの課題に対する解決策を提供します。パラメータ数が少なく、設計がシンプルなSLMは、データとトレーニング時間を大幅に削減できます。これにより、小型デバイスへの実装が容易になります。
SLMの大きな利点の一つは、特定のアプリケーションに適応できる点です。感情分析やドメイン特化型の質問応答にファインチューニングすることで、一般的なモデルに比べて優れた性能を発揮します。この専門性により、特定のタスクの効率が向上します。
さらに、SLMはプライバシーとセキュリティを強化します。シンプルなアーキテクチャは監査が容易で、脆弱性を含みづらく、医療や金融といった重要な分野で重要です。計算ニーズが少ないため、SLMはデバイス上でローカルに動作でき、データセキュリティを改善し、データ転送中のリスクを最小限に抑えます。
SLMは、通常、アプリケーションに関連する狭いデータセットでトレーニングされるため、幻覚を生成する可能性が低く、信頼性の高いパフォーマンスを得やすくなります。HuggingFaceのCEO、クレム・デランギュは、「99％のユースケースに対してSLMが効果的に対処できる」と提唱し、2024年にはその採用が急増すると予測しています。HuggingFaceはGoogleと提携し、そのプラットフォームをGoogleのVertex AIに統合し、数千のモデルを迅速にデプロイできるようにしています。
GoogleのGemmaイニシアティブ
OpenAIに対抗してLLM開発で後れを取っていたGoogleは、現在SLMの開発に力を入れています。2月にGoogleはGemmaを発表し、効率性と使いやすさを重視した一連の小型言語モデルを投入しました。これらのモデルは、スマートフォンやノートパソコンなどの標準デバイスで動作可能で、膨大なリソースを必要としません。
リリース以来、トレーニング済みのGemmaモデルはHuggingFaceで40万回以上ダウンロードされ、革新的なプロジェクトを引き起こしています。その一例として、Gemma 2BとGoogleのSigLIPを組み合わせた強力な画像と言語モデル「Cerule」があり、膨大なデータなしで優れた性能を発揮します。また、コーディングや数学的推論をターゲットとした専門版「CodeGemma」も登場し、様々なコーディング関連の活動に特化したモデルを提供しています。
SLMの変革的潜在能力
AIコミュニティがSLMの利点を深く探求する中で、開発サイクルの短縮、効率の向上、特定のソリューションの利点がますます明確になっています。SLMは、コスト効率の良い特定のアプリケーションを通じてAIアクセスの民主化と産業のイノベーションを促進します。
エッジでのSLMのデプロイは、金融、エンターテインメント、オートモーティブ、教育、eコマース、医療などの分野で、リアルタイムでパーソナライズされた安全なアプリケーションの可能性を開きます。データをローカルで処理し、クラウドインフラへの依存を最小限に抑えることで、SLMはデータプライバシーとユーザー体験を向上させます。
LLMが計算要求やパフォーマンスの停滞に直面する中、SLMの台頭はAIエコシステムを驚異的なペースで前進させることを約束しています。
ランキング
