マスクのGrok AI、オープンソースソフトウェアとして登場

ビリオネア起業家Elon Muskのスタートアップ、xAIが約束通り、初の大規模言語モデル（LLM）「Grok」をオープンソースとして公開しました。この発表は、起業家やプログラマー、企業、個人がGrokの重み（人工神経細胞間の接続の強さ）や関連ドキュメントにアクセスできることを意味します。これにより、利用者はGrokを商業目的を含むさまざまな用途に活用できます。

xAIの公式ブログでは、「Grok-1の基本モデル重みとネットワークアーキテクチャを公開します。Grok-1は3140億パラメータを持つ、ゼロからトレーニングされたMixture-of-Expertsモデルです」と説明されています。技術愛好者は、GrokのコードをGitHubページまたはトレントリンクからダウンロードでき、Hugging Face は迅速なダウンロードオプションも提供しています。

Grokオープンソースの意義

機械学習において、パラメータはモデルの決定を支配する重みとバイアスを指します。一般的に、パラメータが多いほど、より複雑で能力の高いモデルとなります。Grokは3140億パラメータを持ち、Meta社のLlama 2（700億）やMistral 8x7B（120億）といったオープンソースの競合を上回ります。

GrokはApache License 2.0のもとで公開されており、商業利用、改変、配布が可能ですが、商標登録はできません。利用者は元のライセンスと著作権表示を含め、行った改変を文書化する必要があります。

Grokは2023年10月にJAXとRustを使用してカスタムトレーニングスタックで構築され、最先端のニューラルネットワークデザインを採用しています。効率性と効果を高めるために、各トークンの25%の重みを使用しています。

Grokは2023年11月にプロプライエタリモデルとして最初にリリースされ、当初はマスク氏のソーシャルネットワークX（旧Twitter）上で、月額16ドルまたは年額168ドルのX Premium+サブスクリプションを通じてのみ提供されていました。

制限事項と利用継続

Grokの公開には、全てのトレーニングデータが含まれていないことに注意が必要です。この制限はモデルの使用には影響を与えませんが、ユーザーはGrokの学習ソースを分析できません。xAIのブログは「大量のテキストデータでトレーニングされたが、特定のタスクにはファインチューニングされていない」と曖昧に述べています。

また、Grokはリアルタイムの情報にアクセスできず、これはマスク氏が以前特別な機能として誇っていたものです。リアルタイムの更新には、引き続きX Premium+サービスへのサブスクリプションが必要です。

AIランドスケープにおける戦略的位置付け

Grokは、マスク氏が共同設立したOpenAIのChatGPTと直接競合するように設計されています。このモデル名は「理解する」という意味のスラングに由来し、ダグラス・アダムスの風刺的SFSiriーズ『銀河ヒッチハイカーガイド』に由来しています。

マスク氏はGrokをChatGPTのよりユーモラスで無検閲な代替品として位置づけ、AIの検閲を懸念するユーザーにアピールしています。このポジショニングは、GoogleのGemini AIが誤った画像生成や物議を醸すイデオロギー的見解で批判を受けている中、特に重要な意味を持ちます。

Grokのオープンソース化は、マスク氏がOpenAIに対して提起している訴訟でも有利に働いています。彼は同社が元の非営利の使命から外れたと主張していますが、OpenAIは彼の妥協を示すメールを公開し、利益追求型技術への移行を支持していたことを明らかにしています。

X上のAIコミュニティは、Grokのリリースに熱心に反応し、フィードフォワード層におけるGeGLUの使用や興味深いサンドイッチノルムといった正規化手法についての技術的な議論が沸き上がっています。

AI産業への影響

Grokが注目を集めるにつれ、他のLLMプロバイダー、とりわけオープンソースの競合に対し、Grokの能力を上回ることを示す圧力がかかることが予想されます。