MetaがLlama 3.1を発表：OpenAIの優位性に挑む強力なオープンソースモデル

Metaは最近、Llama 3.1を発表し、これを「現在利用可能な最も強力なオープンソースの基本モデル」と位置付けました。公式ブログによると、このリリースはオープンソースの大規模モデルの進展における重要な瞬間を示しており、AIの新時代の幕開けを意味しています。

LlamaSiriーズは、オープンソースの大規模モデルの最前線で活躍しており、MetaはOpenAIとともに、オープンソースと商業技術の未来を代表しています。Llama 3.1の発表に際して、MetaのCEOマーク・ザッカーバーグ氏は、AIの進化を促進するためのオープンソースの重要性を強調し、オープンソースAIを業界の標準として確立する計画を発表しました。

Llama 3.1は、パラメータサイズが8B、70B、405Bの3つから選べ、マルチリンガルエージェント、複雑な推論、コーディング支援など多様な用途に対応しています。モデルは128Kの拡張コンテキストウィンドウを誇り、これは従来の8Kから大幅な増加です。また、英語、ドイツ語、フランス語を含む複数の言語をサポートし、検索エンジンとの統合やWolfram Alphaを通じた数学的推論など、強化されたツール機能も備えています。さらに、Llama 3.1は他の大規模言語モデル（LLM）の最適化に利用できるより寛容なライセンスモデルを提供しています。

ベンチマーク評価によると、Llama 3.1の405Bパラメータモデルは、GPT-4o、Claude 3.5 Sonnet、Gemini Ultraと同等レベルで競争力があり、Metaのこれまでで最も強力なリリースとしての地位を確立しています。正式発表前にテクノロジーコミュニティ内でベンチマーク結果が流出し、Llama 3.1の優れた能力について広範な議論が行われました。

また、MetaはLlama 3.1の開発およびトレーニングに関する92ページの技術論文も公開しました。このモデルは、150兆トークン以上と16,000のNVIDIA H100 GPUを使用してトレーニングされました。トレーニングの安定性を確保するために、Metaは現在人気の「エキスパートの混合」（MoE）モデルを避け、Transformerモデルアーキテクチャを用いています。

Llama 3.1のリリース後、Metaは迅速に複数の企業と提携し、広範なエコシステムを育成しています。Amazon、Databricks、NVIDIAなどの企業が開発者のモデルの微調整やトレーニングを支援するためにサポートを開始しました。中国ではTencent CloudがLlama 3.1をTIプラットフォームに統合し、関連する調整とテストを行っています。

オープンソースの重要性についてザッカーバーグ氏は、開発者が自分のモデルを管理し、データの安全性を確保し、開発コストを削減できると述べました。Metaにとって、オープンソースは技術競争力を維持するために不可欠です。彼は、オープンなエコシステムにより、より多くの人々がAI技術から利益を受けられるようになると強調し、技術が一部の企業に集中することを防ぐべきだと語りました。

テクノロジー大手がAI分野に多くの投資を行い続ける中、MetaはMetaバースからAIへの焦点を戦略的にシフトし、Reality Labs部門の予算を調整して生成的AIチームを支援する計画を立てています。同様に、Googleの親会社であるAlphabetも、財務報告でAI投資へのコミットメントを強調し、主要企業がこの激しいAI分野で革新とブレークスルーを求めていることを示しています。

Llama 3.1のリリースにより、オープンソースAI技術の競争は一層激化し、主要テクノロジー企業がこの分野の将来の発展を目指して奮闘することが期待されています。