オープンソースモデルのスタートアップであるMistral AIは、斬新な動きとして本日、新しい大規模言語モデル(LLM)を発表しました。アクセスにはトレントリンクのみが提供されています。これは、今週発表されたGoogleのGeminiに対し、OpenAIのAndrej Karpathyが「過剰にリハーサルされたプロフェッショナルなリリースビデオで、AI革命を語る」と評したのとは対照的です。
Googleのデモビデオは、能力を示すために過剰に編集され、演出されたとする批判が集まっています。一方、Mistralは新モデル「Mixtral 8x7B」のダウンロードリンクを直接共有するというシンプルなアプローチを選びました。
Redditの投稿では、MistralのLLMは「規模を縮小したGPT-4」と表現され、8人の専門家それぞれが70億のパラメータを持つ混合専門家モデル(MoE)であると説明されています。1トークンの推論では、2人の専門家のみが活性化され、GPT-4もMoEモデルであり、8人の専門家がそれぞれ1110億のパラメータ、550億の共有注意パラメータを持ち、合計で1660億パラメータに達する可能性があると推測されています。
AIコンサルタントで「Machine & Deep Learning Israel」コミュニティの創設者でもあるUri Eliabayevは、Mistralのこうしたリリースのスタイルを強調しました。「論文やブログ、コード、プレスリリースなしで」と彼は述べました。オープンソースAIの提唱者であるJay Scamblerもこの意見を支持し、リリースが「確かに異例だった」としながらも、注目を集めたことに成功したと指摘しました。
このゲリラマーケティング戦略は、AIコミュニティで広く称賛されています。起業家のGeorge Hotzはリリースについてコメントし、1X TechnologiesのAI担当副社長で元Googleロボティクス研究者のEric JangもMistralについての熱意を表し、同社を「AI分野での私のお気に入りの一つ」と呼びました。
パリに拠点を置くMistral AIは、Andreessen Horowitz主導の大規模資金調達ラウンドで20億ドルの評価を達成しています。また、これはヨーロッパ史上最大の1億1800万ドルのシードラウンドに認識されており、昨年9月には初の大規模言語AIモデル「Mistral 7B」を発表しました。同社はEU AI法に関する議論の最前線に立ち、オープンソースAIに対する規制緩和を求めてロビー活動を行っていると報じられています。