Snowflake、アークティックを発表：DBRXとLlama 3に挑むオープンな「専門家混合」LLM

今日は、Snowflakeがアークティックという大規模言語モデル（LLM）を発表しました。このモデルは、SQL生成、コード作成、指示遵守といった複雑な企業タスクを効率的に処理するために設計されています。

アークティックは「最もオープンなエンタープライズグレードのLLM」として販売されており、専門家（MoE）アーキテクチャを採用しています。このアプローチにより、エンタープライズワークロードにおいてトップレベルのベンチマークを達成しています。アークティックは、一般的なモデルと比較して、世界知識、常識、推論、数学的能力の各分野においても競争力のあるパフォーマンスを示しています。

CEOのスリダル・ラマスワーミは、「これはSnowflakeにとって画期的な瞬間です。私たちのAI研究チームが革新の最前線に立っています。業界をリードするインテリジェンスと効率性をオープンな形で提供することで、オープンソースAIの可能性を広げています。アークティックでの研究により、顧客に対して信頼性が高く効率的なAIを提供できる能力が大幅に向上します」と述べました。

アークティックの発表は、AIイニシアティブで積極的に動いているDatabricksに対抗するためのSnowflakeの戦略的な一手でもあります。最近、Neevaを買収し、ラマスワーミがCEOに就任したことにより、SnowflakeのAIへの焦点は一層強まっています。

アークティック：エンタープライズワークロードに最適化

現代の企業が生成AIを採用する中で、リトリーバル拡張生成（RAG）チャットボットやデータコパイロット、コードアシスタントといったアプリケーション開発が急増しています。しかし、多くのモデルが存在する中で、企業のニーズに特化したものはまだ少なく、ここでSnowflakeのアークティックが優位性を発揮します。ラマスワーミは「AIはエンドツーエンドのAI製品開発を強化します。私たちのビジョンは、ビジネスユーザーがデータと直接対話できるAPIを作成し、それを企業全体で民主化することです。アークティックはそのビジョンを実現するための重要なステップです」と語りました。

アークティックは、密度の高いMoEハイブリッドアーキテクチャを利用しており、パラメーターを128の専門家サブグループに分割しています。これにより、専門家は自分に最適な入力トークンのみを処理し、応答時には4800億のパラメーターの中から170億のみを活性化します。このターゲットアプローチにより、高い性能を保ちながら計算資源を最小限に抑えています。

ベンチマークによると、アークティックはエンタープライズタスクを効果的に処理し、さまざまなテストで平均65%のスコアを達成しました。このパフォーマンスは、Llama 3 70Bの平均エンタープライズスコア70%に近接しており、Mixtral 8X22Bの70%にはわずかに劣ります。SQL生成に関するSpiderベンチマークでは、アークティックは79%のスコアを記録し、DatabricksのDBRXやMixtral 8X7Bを上回り、Llama 3 70BやMixtral 8X22Bにも肉薄しました。コーディングタスクでは64.3%を達成し、Databricksおよび小型のMixtralモデルを上回りましたが、Llama 3 70BとMixtral 8X22Bには劣りました。

特に、指示遵守能力に関するIFEvalベンチマークでは、アークティックは52.4%を獲得し、最新のMixtralモデルを除くほとんどの競合を上回る結果を示しました。

効率性とコスト効果

Snowflakeは、アークティックの企業向けのインテリジェンスレベルが、180万ドル未満のトレーニングコンピュータ予算で達成されたと主張しています。これは、Llama 3 70Bの17倍の計算リソースを使用した他のモデルに比べて非常に効率的です。さらに、アークティックは170億のアクティブなパラメーターのみを使用することで、コスト効率も高まります。

Apache 2.0ライセンスでの提供

Snowflakeは、アークティックをCortexというLLMアプリケーション開発サービスを通じて、Hugging Face、Lamini、Microsoft Azure、Nvidia APIカタログ、Perplexity、Togetherなどのさまざまなモデルカタログで利用可能にしています。ユーザーは、Hugging FaceからApache 2.0ライセンスのもとでアークティックのモデルウェイトとコードをダウンロードでき、個人的、商業的、研究目的で自由に使用できます。

モデルのリリースに際し、SnowflakeはシングルGPUでの効率的なファインチューニングのためのデータレシピと、モデルの設計やトレーニングプロセスを詳述した包括的な研究料理本も提供しています。SnowflakeのAI責任者バリス・グルテキンは、「この料理本は、世界クラスのMoEモデルに関心を持つ人々の学習曲線を加速させるために作成されており、ハイレベルな洞察と詳細な技術仕様を提供することで、アークティックのような効率的でコスト効果の高いLLMの構築を促進します」と述べました。