Elon MuskのxAIは、最近Grok-2という大規模言語モデル(LLM)のチャットボットを発表し注目を集めています。このチャットボットは、SNS「X」で月額8ドルのサブスクリプションで利用可能です。Grok-2の2つのバージョン、より高速ながら少し性能が劣るGrok-2ミニは、情報処理速度と応答時間で大幅な向上を見せました。このアップグレードは、xAIの開発者イゴール・バブシュキン、リャンミン・ゼン、サイード・マレキによる推論コードの完全な書き直しに基づいています。
バブシュキンはXで「Grok 2ミニは、昨日の2倍の速さになりました。過去3日間で、@lm_zhengと@MalekiSaeedがSGLangを使って推論スタックを一から書き直しました。この改善により、複数ホストの推論が必要な大規模なGrok 2モデルを合理的な速度で提供できるようになりました。両モデルは、より速く、わずかに精度も向上しています。今後のさらなるスピード向上にもご期待ください!」と述べています。
SGLangは、複雑な言語モデルプログラムを実行するための効率的なオープンソースシステムで、既存のシステムよりも最大6.4倍のスループットを実現しました。スタンフォード大学、UCバークレー、テキサスA&M大学、中国の上海交通大学の研究者たちによって開発されたSGLangは、言語モデルアプリケーションのプログラミングを簡素化し、フロントエンド言語とバックエンドランタイムを統合しています。Llama、Mistral、LLaVAを含むさまざまなモデルをサポートし、OpenAIのGPT-4のようなオープンウェイトモデルやAPIベースのモデルとも互換性があります。
Grok-2およびGrok-2ミニのパフォーマンスのハイライトとして、最新のLmsys Chatbot ArenaのリーダーボードでGrok-2は1293のArenaスコアを獲得し、2位にランクインしました。これは6686票に基づいており、GoogleのGemini-1.5 Proと並ぶ世界で2番目に強力なAIモデルです。最近の改良を受けたGrok-2ミニは7266票から1268のArenaスコアで5位に上昇しており、GPT-4oミニおよびClaude 3.5 Sonnetに次ぐ位置にあります。これらのモデルは、xAIのAI技術の向上への取り組みを反映しています。
Grok-2は特に数学的なタスクにおいて1位を維持し、Hard Prompts、Coding、Instruction-followingなど多くのカテゴリーでも強いパフォーマンスを見せています。この結果、Grok-2は現在4位のOpenAIのGPT-4oを凌いでいます。
今後の展望として、バブシュキンはGrok-2ミニの利点は、フルモデルに対してスピードが優れていることだと述べています。また、Grok-2ミニの処理速度をさらに向上させるための取り組みも進行中であり、高性能が求められるユーザーにとって魅力的な選択肢となる可能性があります。
Grok-2とGrok-2ミニのChatbot Arenaリーダーボードへの追加は、AIコミュニティに大きな注目を集めており、xAIのイノベーションへの取り組みとAI技術の能力を拡大する姿勢を示しています。今後の改良を通じて、Grok-2とGrok-2ミニは速度と精度の向上を約束し、AIの進展をリードする存在となるでしょう。