2023年：オープンソース言語モデル（LLM）の革新と進展

2022年末に登場したChatGPTは、AI企業やテクノロジー大手の間で競争を引き起こし、急成長する大規模言語モデル（LLM）の市場をリードしようとする動きが加速しました。この激しい競争を受けて、多くの企業が自社の言語モデルを独自サービスとして提供し、APIアクセスを提供しながら、基盤となるモデルの重みやトレーニングデータセット、手法の詳細を隠しました。

一方で、2023年にはオープンソースLLMエコシステムが大きく成長し、特定のアプリケーションにカスタマイズ可能なダウンロード可能なモデルのリリースが相次ぎました。この展開により、オープンソースはLLMの重要なプレイヤーとして地位を確立し、独自ソリューションと同等に競争しています。

大きさは性能に影響するのか？

2023年以前、大規模言語モデルのサイズを増やすことが性能向上に不可欠だと広く信じられていました。BLOOMやOPTのようなオープンソースモデルは、1750億パラメータを持つOpenAIのGPT-3に匹敵するアプローチを示していましたが、これらの大規模モデルは効果的に運用するために膨大な計算資源と専門知識を要しました。

このパラダイムは、2023年2月にMetaが7〜65億パラメータを持つLlamaSiriーズを発表したことで大きく変わりました。Llamaは、小型モデルが大型モデルと同等の性能を発揮できることを証明し、モデルのサイズが効果の唯一の決定因子ではないことを支持しました。Llamaの成功の鍵は、大規模なデータセットでのトレーニングにあり、GPT-3が約3000億トークンを使用したのに対し、Llamaは最大1.4兆トークンを取り込み、小型モデルをより広範なデータセットでトレーニングすることで強力なアプローチを実現しました。

オープンソースモデルの利点

Llamaの人気の理由は、大きく二つの利点にあります。一つは、単一のGPUで動作できること、もう一つは、オープンソースとしてリリースされたことです。このアクセスの良さにより、研究コミュニティは迅速にそのアーキテクチャや成果を基に発展し、CerebrasのCerebras-GPT、EleutherAIのPythia、MosaicMLのMPT、SalesforceのX-GEN、TIIUAEのFalconなど、多くの注目すべきオープンソースLLMが登場しました。

2023年7月、MetaはLlama 2をリリースし、多くの派生モデルの基盤となりました。また、Mistral.AIも、そのモデルMistralとMixtralの導入で注目を集め、性能とコスト効率の面で高く評価されました。

「オリジナルのLlamaのリリース以来、オープンソースLLMの分野は加速しており、MixtralはGPT-4やClaudeに次いで人間評価で3番目に有用なモデルとして認識されています」と、Hugging Faceのプロダクト＆グロース責任者Jeff Boudierは述べています。

Alpaca、Vicuna、Dolly、Koalaなどの追加モデルもこれらの基盤モデルを用いて特定のアプリケーション向けに開発され、Hugging Faceのデータによれば、開発者は数千のフォークや専門バージョンを作成しています。特に「Llama」で14,500件、「Mistral」で3,500件、「Falcon」で2,400件以上の結果が存在します。Mixtralは2023年12月のリリースにもかかわらず、すでに150のプロジェクトの基盤として機能しています。

これらのモデルのオープンソース性は、開発者が新たなモデルを作成したり、既存のモデルと組み合わせてさまざまな構成を試みることを可能にし、LLMの実用性を高めています。

オープンソースモデルの未来

独自モデルが進化を続ける中で、オープンソースコミュニティは依然として強力な競争相手です。テクノロジー大手は、オープンソースモデルの価値を認識し、自社製品に取り入れる動きを強めています。OpenAIの主要な支援者であるMicrosoftは、オープンソースモデルのOrcaとPhi-2をリリースし、自社のAzure AI Studioプラットフォームとの統合を進めています。同様に、Amazonも独自モデルとオープンソースモデルの両方をホストするクラウドサービスBedrockを発表しました。

「2023年、企業は特にChatGPTの成功を受けて、LLMの能力に驚かされました」とBoudier氏は言います。「CEOたちは自チームに生成AIの利用ケースを定義するよう指示し、閉じたモデルのAPIを使った迅速な実験や概念実証アプリケーションの開発を促しました。」

しかし、重要なテクノロジーに外部APIに依存することには、重要なソースコードや顧客データの漏洩リスクなど、長期的に持続可能でない戦略が伴います。そのため、オープンソースエコシステムは、プライバシーとコンプライアンスのニーズに対応しつつ、生成AIを導入したい企業にとって有望な道を提供します。

「AIが技術開発を変革する中で、過去のイノベーションと同様に、組織はAIソリューションを社内で構築・管理する必要があります。その際、顧客情報のプライバシー、セキュリティ、規制遵守を確保することが求められます」とBoudier氏は結論づけています。「歴史的なトレンドから見て、これはオープンソースの采配を意味するでしょう。」