東京を拠点とするスタートアップ、Sakana AIによって開発された画期的な技術「進化モデルマージ」は、生成モデルの作成を自動化します。このアプローチは自然淘汰から着想を得ており、既存のモデルの要素を組み合わせて、より高度なモデルを生み出します。
Sakana AIは、2023年8月に元Googleのエキスパートとして知られるデビッド・ハと「Attention Is All You Need」の共著者であるリーオン・ジョーンズによって設立され、生成AIの革新の最前線に位置しています。
モデル開発の革命
Sakanaの進化モデルマージは、開発者や組織が新しいモデルを経済的に制作・探求できるようにし、高価なトレーニングや独自モデルの微調整が不要になります。最近、この新技術を使った大規模言語モデル(LLM)や視覚と言語のモデル(VLM)が発表されました。
モデルのマージの理解
生成モデルのトレーニングは高コストで複雑ですが、Llama 2やMistralのようなオープンモデルの出現により、開発者たちはモデルマージを活用しています。複数の事前トレーニングされたモデルの要素を組み合わせて新しいモデルを形成するこの方法は、追加トレーニングなしで既存モデルの強みを引き継ぐことを可能にし、非常に経済的です。現在、Open LLMリーダーボードにある多くのモデルは人気のある基盤モデルのマージ版です。
Sakana AIの研究者は、「研究者、ハッカー、アーティストの活気あるコミュニティが、既存のモデルを微調整し、マージすることにより新たな基盤モデルを開発しています」と述べています。Hugging Faceには50万以上のモデルがあり、モデルマージは低コストで革新的なソリューションを生み出す広範な機会を提供していますが、大きな直感と専門知識が求められます。
進化モデルマージの導入
Sakana AIは、進化的アルゴリズムに基づいて、モデルマージのプロセスを最適化することを目指しています。進化的な手法を取り入れ、進化モデルマージは、異なるモデルを組み合わせる最も効果的な方法を特定します。デビッド・ハは、「多様な既存モデルから新しいモデルを進化させる能力は、重要な意味を持ちます」と強調しています。基盤モデルのトレーニングに対するリソース需要が高まる中、この進化的アプローチは、投資を大きくせずにプロトタイプモデルを迅速に開発したい機関や政府にとって有益です。
進化モデルマージは自動で動作し、既存モデルのレイヤーや重みを評価して、ユーザーの要件に合わせた新しいアーキテクチャを作成します。
進化的マージのデモ
このアプローチの可能性を探るため、Sakana AIの研究者は、日本語で数学的推論ができる日本語LLMと日本語VLMを進化モデルマージを用いて作成しました。その結果、得られたモデルは明示的な最適化なしでいくつかのベンチマークを超えました。例えば、彼らのEvoLLM-JPは70億パラメータの競合モデルをも超える7億パラメータの日本語数学LLMです。
日本語VLMについては、LLaVa-1.6-Mistral-7BとShisa-Gamma 7Bをマージし、EvoVLM-JPを生み出しました。これは、LLaVa-1.6-Mistral-7Bおよび既存のJSVLMを上回りました。これらのモデルはHugging FaceとGitHubで入手可能です。
Sakana AIは、画像生成の拡散モデルの進化的マージ手法を適用し、日本語のプロンプトに対するStable Diffusion XLのパフォーマンス向上を目指しています。
Sakana AIのビジョン
デビッド・ハとリーオン・ジョーンズによって設立されたSakana AIは、進化や集団知能など、自然にインスパイアされた概念を活用して基盤AIモデルを作成することを目指しています。チームは、AIの未来は単一の包括的なシステムではなく、異なるニッチに特化した複数のAIシステムのネットワークが協力し、進化しながらさまざまなニーズに応える形になると信じています。