AI2(アレン人工知能研究所)は、故ポール・アレンによって2014年に設立された非営利団体で、OLMoと呼ばれるオープンソースの大規模言語モデル(LLM)を発表しました。このモデルは「真にオープンソース」であり、制限のあるクローズドモデルに代わる「最先端」の選択肢とされています。この取り組みは、AI開発の新たな方向性を示す重要なステップです。
OLMoは、コードや重みだけでなく、訓練コード、訓練データ、関連ツールキット、評価ツールなどの包括的なリソースを提供します。すべてのOLMoコンポーネントは、Apache 2.0ライセンスの下で利用でき、オープンソースイニシアチブに承認されています。
この発表は、オープンソースAIが急速に進化し、OpenAIのGPT-4やAnthropicのClaudeなどのプロプライエタリモデルに追いつこうとする重要なタイミングで行われました。例えば、パリに本拠を置くスタートアップMistralのCEOは、GPT-4に近いパフォーマンスを持つ新しいオープンソースAIモデルの登場を確認しました。また、Metaはコード生成モデルの強化版「Code Llama 70B」を発表し、次期Llama LLMのリリースにも期待が高まっています。
しかし、オープンソースAI業界は一部の研究者や規制当局、政策立案者から批判を受けています。IEEE Spectrumの論争のあるオピニオンピースでは、「オープンソースAIは独特の危険を伴う」と主張しています。
OLMoフレームワークは「完全にオープンな」アプローチを推進し、前訓練データ、訓練コード、モデルの重み、評価プロセスへの完全なアクセスを提供します。これには、推論コード、訓練メトリクス、訓練ログ、Catwalkプロジェクトの下で追跡された500以上のチェックポイントを含む開発評価スイートが含まれます。
AI2の研究者たちは、さまざまなモデルサイズ、モダリティ、データセット、機能を導入することでOLMoを継続的に改善する計画です。AI2のNLP研究所のシニアディレクターであるハンナ・ハジシルジ氏は、「今日の多くの言語モデルは透明性に欠けています。研究者は訓練データへのアクセスなしにはモデルの仕組みを完全には理解できません。このフレームワークは、LLMを科学的に研究するための力を研究者に与え、安全で信頼性のあるAI開発に不可欠です」と述べています。
AI2のML科学者であるネイサン・ランバート氏は、OLMoがLLMにおける新たなパラダイムを象徴していると強調しました。「OLMoは、ML研究と展開に新しいアプローチを可能にし、プロセスの各段階での科学的開発を容易にします」と彼は語っています。
オープンソースAIコミュニティは、OLMoのリリースに対して熱心に反応しています。MosaicMLとDatabricksの主任科学者であるジョナサン・フランクル氏は、これを「オープンサイエンスの巨大な飛躍」と称賛しました。また、Hugging FaceのCTOもソーシャルメディア上でこのモデルが「オープンソースAIの限界を押し広げている」と述べました。
Metaのチーフサイエンティストであるヤン・ルカン氏は、AI2のプレスリリースにおいて「オープンファンデーションモデルは生成AIの革新を促進し、活気に満ちたオープンソースコミュニティがAIの未来を形作る鍵である」と強調しました。