最近の数日間、オープンソースAIコミュニティは、通常のペースを超える激動の日々を迎えています。
事件の時系列:
1月28日、ユーザー「Miqu Dev」がオープンソースAIモデルの主要なプラットフォームであるHuggingFaceにファイルのコレクションをアップロードしました。このアップロードにより、「miqu-1-70b」という新しい大規模言語モデル(LLM)が公開されました。この記事執筆時点でも、HuggingFaceのエントリーは利用可能で、ミクは有名なパリのAI企業MistralのMixtral 8x7bモデルと同じプロンプト形式を使用していることが強調されています。Mixtralは現在、Meta社のLlama 2をベースにした高性能なオープンソースLLMと見なされています。
ウイルス的な発見:
同日、匿名のユーザーが4chan上でmiqu-1-70bのファイルへのリンクを共有しました。この情報が広まると、X(旧Twitter)上でLLMタスクにおけるこのモデルの優れた性能についての議論が始まり、EQ-BenchでOpenAIのGPT-4と競合することが示されました。
コミュニティの反応:
機械学習の研究者たちはLinkedInに興味を持って集まりました。JPモルガン・チェースのML科学者マキシム・ラボンヌは、"Miqu"が「MIstral QUantized」の略かどうかを疑問視しました。彼は「@152334Hのおかげで、miquの非量子化バージョンが利用可能になりました」と述べ、今後のファインチューニングされたイテレーションでGPT-4を上回る可能性を示唆しました。量子化とは、AIモデルがそのアーキテクチャ内の複雑な数値シーケンスを簡略化することで、より低出力のハードウェアで動作するようにする技術です。
憶測と確認:
"Miqu"が新たに漏洩したMistralモデルであるとの憶測が広がる中、同社の控えめなアプローチが注目を集めました。Mistralの共同創業者兼CEOアーサー・メンシュは、X上でこの理論を確認し、初期アクセス顧客の熱心な従業員がオープンにトレーニングした古いモデルの量子化バージョンを漏洩したと発表しました。メンシュは、「クラスターにアクセスしたその日、私たちはこのモデルをLlama 2から再トレーニングしました」と述べました。HuggingFaceの投稿を削除するよう求める代わりに、メンシュは投稿者に適切な帰属を考えるようにコメントしました。
AIの風景への影響:
メンシュの「続報をお楽しみに!」というメッセージは、Mistralが「Miqu」モデルのバージョンを開発中で、GPT-4に匹敵する可能性があることを示唆しています。これは、オープンソース生成AIだけでなく、AI全体の風景においても重要な瞬間を示すかもしれません。2023年3月にリリースされたGPT-4は、最も先進的なLLMとして認識されており、Googleの長年期待されていたGeminiモデルすら超えています。
GPT-4に匹敵するオープンソースモデルの出現は、OpenAIに対して大きな競争圧力をもたらすでしょう。ビジネスがオープンソースとプロプライエタリの要素を組み合わせたモデルを求める中、OpenAIは高速なGPT-4 TurboやGPT-4V(視覚)を利用して優位に立つかもしれませんが、オープンソースAIコミュニティは急速にその差を詰めています。果たして、OpenAIの優位性と独自の提供がLLMの最前線を維持するのに十分かどうか、注目が集まります。