Metaが「コードラマ70B」を発表：プライベートAI開発に挑むオープンソースの実力派

Meta AIが開発したLlama 2の後継として、Code Llama 70Bが発表されました。この新しいモデルは、自然言語の指示または既存のコードスニペットに基づいて、Python、C++、Java、PHPなどの複数のプログラミング言語でコードを生成できる強化されたコーディング生成モデルです。Code Llama 70Bは、これまで以上に迅速かつ正確で効率的なコード生成を約束します。

今日、利用可能な中で最大のオープンソースAIモデルの一つとして、Code Llama 70Bは人工知能の新たな基準を打ち立てています。コード生成は長年にわたり、コンピュータ科学者たちが追求してきたテーマであり、ソフトウェア開発の合理化や新しい創造性の解放を目指しています。ユーザーはCode Llama 70Bに対し、コードの生成、既存のコードの修正、異なる言語間のコード変換を指示することができます。

ただし、コード生成には特有の課題が伴います。自然言語の柔軟性とは異なり、コーディングには精密さと厳密な構文の遵守が求められます。また、コーディングタスクは複雑であり、豊富な文脈を必要とする場合があります。Code Llama 70Bのような高度なモデルは、膨大なデータトレーニング、強力な計算能力、洗練された知能によって、これらの課題に対処しています。

Code Llama 70Bは、5000億トークンのコード関連データでトレーニングされた最新の大規模言語モデル（LLM）であり、100,000トークンの広いコンテキストウィンドウを有するため、複雑なコード構造の生成と理解を可能にしています。1750億のパラメータを持つ大規模モデルLlama 2を基に、自己注意という手法でコード生成向けに微調整されています。この手法により、コード内の関係性をより効果的に把握することができます。

正確さと適応性の新たな基準

Code Llama 70Bの特筆すべき特徴の一つは、自然言語指示の解釈に特化したCodeLlama-70B-Instructです。このバージョンは、コード生成の機能的正確さを測るベンチマークであるHumanEvalで67.8のスコアを達成し、CodeGen-16B-Mono（29.3）やStarCoder（40.1）などの以前のオープンモデルを大きく上回り、GPT-4（68.2）やGemini Pro（69.4）などのクローズドモデルに迫る成果を達成しました。CodeLlama-70B-Instructは、データのソートや検索、アルゴリズムの実装といったタスクを効果的に処理します。

さらに、Code Llama 70BにはPython専用に洗練されたCodeLlama-70B-Pythonも搭載されており、ウェブスクレイピングやデータ分析、機械学習、ウェブ開発などのタスクにおいて優れた能力を発揮します。Pythonは世界で最も人気のあるプログラミング言語の一つです。

研究と商業利用のためのアクセス

Code Llama 70BはLlama 2と同じライセンスの下で自由にダウンロードできます。これにより、研究者や商業ユーザーは自由に利用・改編できます。このモデルは、Hugging Face、PyTorch、TensorFlow、Jupyter Notebookなどのプラットフォームからアクセス可能で、Meta AIはさまざまなアプリケーションにモデルを適応させるためのドキュメントやチュートリアルを提供しています。

Meta AIのCEO、マーク・ザッカーバーグは、このリリースについて次のように述べました。「新しい70Bパラメータモデルに改良されたCode Llamaをオープンソース化しています。コードの作成や編集は、今日のAI利用の中で最も重要な役割の一つです。コーディング能力は、AIモデルが多様な領域で情報を処理する能力を高めるために不可欠です。これらの進展をLlama 3や将来のモデルに取り入れることを楽しみにしています。」

Code Llama 70Bは、コーディングとソフトウェア開発の風景に大きな影響を与えることが期待されており、コーディングや学習の強力なツールを提供します。自然言語によるガイダンスを通じて、コーディングのハードルを低くし、コードの翻訳、要約、ドキュメント作成、分析、デバッグなどの革新的なアプリケーションへの道を開く可能性があります。

Code Llama 70Bの詳細やドキュメントについては、Meta AIの公式チャネルから直接ダウンロードしてください。また、GitHubやHugging Faceでのアクセスもご利用いただけます。