グロック(Groq)は、革新的なAIハードウェアスタートアップであり、主要なテクノロジー企業の言語モデルを上回る、2つのオープンソース言語モデルを発表しました。特に「Llama-3-Groq-70B-Tool-Use」モデルは、バークレー機能呼び出しリーダーボード(BFCL)でトップの座を占め、OpenAI、Google、Anthropicの独自モデルを凌駕しました。
プロジェクトリーダーのリック・レイマーズ(Rick Lamers)は、X.comでこの成功を報告し、「Llama 3 Groq Tool Use 8Bと70Bモデルを発表できることを誇りに思います。このオープンソースのフルファインチューニングによるLlama 3は、BFCLで全モデルの中で1位を達成し、Claude Sonnet 3.5やGPT-4 Turbo、GPT-4o、Gemini 1.5 Proなどの独自モデルを超えました」と述べました。
70Bパラメータモデルは、BFCLで全体の精度90.76%を記録し、8Bモデルは89.06%で3位にランクインしました。これらの結果は、オープンソースモデルが特定のタスクにおいて、クローズドソースの代替モデルを上回ることができる可能性を示しています。
グロックのモデルは、AI研究企業Glaiveとの協力により開発され、MetaのLlama-3ベースモデルに対してフルファインチューニングとダイレクト・プレファレンス・最適化(DPO)が適用されました。チームは、倫理的に生成された合成データのみを使用してトレーニングを行い、データプライバシーと過学習の懸念に対処しました。
この開発は、AIの風景における重要な変化を意味します。合成データのみを使用して高性能を達成することにより、グロックは、先進的なAIモデルを開発するのに大量の現実データが必要であるという信念に挑戦しています。この革新的なアプローチは、プライバシーへの懸念を和らげ、通常は膨大なデータトレーニングに関連する環境への影響を軽減できる可能性があります。また、現実データが限られているか、デリケートな分野での専門的なAIモデルの作成の道を開きます。
グロックは、これらのモデルをGroq APIおよび機械学習モデルの主要プラットフォームであるHugging Faceを通じて提供しています。このアクセス性は、自動コーディングやデータ分析など、複雑なツール使用や機能呼び出しを必要とする分野でのイノベーションを促進することが期待されます。
さらなるコミュニティの参加を促すために、グロックはHugging Face Spacesでの公開デモを開始しました。ユーザーはモデルと対話し、ツール使用機能を評価することができます。2021年12月にHugging Faceが買収したGradioと協力して開発されたこのデモは、研究者や開発者の注目を集め、モデルの潜在能力を探る機会を提供しています。
グロックのオープンソース戦略は、大手テクノロジー企業が使用する閉鎖的なシステムとは対照的であり、業界リーダーがより透明性を持ってAI開発を加速するよう促す可能性があります。この高性能なオープンソースモデルのリリースは、グロックのAIにおける重要なプレイヤーとしての地位を確固たるものにしています。研究者、企業、政策立案者がこの技術の影響を探る中、AIのアクセシビリティとイノベーションの向上の可能性は明白です。グロックの成功は、先進的な能力の民主化と、より多様で革新的なエコシステムの育成を促す新たなAI開発時代の到来をもたらすかもしれません。