MITのスピンオフ、Liquidが最先端のノン・トランスフォーマーAIモデルを発表

Liquid AIは、MITのコンピュータ科学・人工知能研究所（CSAIL）の元研究者によって共同設立されたスタートアップで、最初のマルチモーダルAIモデル「リキッドファンデーションモデル（LFM）」を発表しました。

現在の多くの生成AIモデルが「Attention Is All You Need」という2017年の変換器アーキテクチャに依存している中、Liquid AIは生成事前学習変換器（GPT）の代替案を探求することを目指しています。LFMは、エンジンや航空機の構築方法を模倣し、「ファーストプリンシパルズ」に基づいて設計されています。

これらの革新的なLFMは、MetaのLlama 3.1-8BやMicrosoftのPhi-3.5 3.8Bなどの比較可能な変換器ベースのモデルと比較して、優れた性能を示しています。モデルはLFM 1.3B（小）、LFM 3B、大規模なLFM 40B MoE（Mixture-of-Expertsモデル）の3つのサイズで利用可能で、パラメータ数は異なります。「B」は10億を示し、高いパラメータ数は多様なタスクに対するより高い能力を意味します。

LFM 1.3Bバージョンは、様々な第三者ベンチマーク、特に大規模マルチタスク言語理解（MMLU）テストでMetaのLlama 3.2-1.2BおよびMicrosoftのPhi-1.5を上回っており、非GPTアーキテクチャによる重要な成果を達成しています。3つのモデルは高い性能とメモリ効率のバランスを保っており、例えばLiquidのLFM-3Bは16GBのメモリしか必要としませんが、MetaのLlama-3.2-3Bは48GB以上を必要とします。

Liquid AIのポストトレーニング責任者マキシム・ラボンジュは、SNSでLFMの効率性と変換器モデルに対するパフォーマンスベンチマークでの優位性を強調しました。これらのモデルは、金融、バイオテクノロジー、消費者エレクトロニクスなどの企業向けソリューションやエッジデバイスでの展開に最適化されています。

ただし、LFMはオープンソースではなく、ユーザーはLiquidの推論プレイグラウンド（Lambda ChatやPerplexity AIなど）を通じてアクセスする必要があります。

LiquidのLFM開発アプローチは、動的システム理論、信号処理、数値線形代数に基づく計算ユニットの組み合わせを取り入れています。この結果、動画、音声、テキスト、時系列などのさまざまな逐次データタイプを扱える汎用AIモデルが実現されました。

昨年、Liquid AIがLiquid Neural Networks（LNN）に注力していることが報告されました。LNNはCSAILで開発されたアーキテクチャで、人工ニューロンの効率性と適応性を向上させることを目指しています。従来の深層学習モデルが複雑なタスクに多数のニューロンを必要とするのに対し、LNNは革新的な数学的手法を組み合わせることで、少ないニューロンでも同等の結果を達成できることを示しています。

LFMはこの適応性を活かし、推論中は最小限の計算オーバーヘッドでリアルタイムの調整を行うことができます。例えば、LFM-3Bモデルは、GoogleのGemma-2やMicrosoftのPhi-3、MetaのLlama-3.2と比較して、長文の文脈処理を効果的に管理しつつ、メモリフットプリントを小さく維持します。

Liquid AIはマルチモーダル機能を通じて、金融サービス、バイオテクノロジー、消費者エレクトロニクスなどのさまざまな業界の課題に取り組んでいます。

現在、プレビュー段階にあるLiquid AIは、初期ユーザーにモデルをテストしてフィードバックを提供するよう奨励しています。完全な発表イベントは2024年10月23日にMITのクレスゲ講堂で予定されており、RSVPが受け付けられています。Liquid AIは、技術ブログのSiriーズを発表し、モデルのストレステストを行うことでさらなる改善を図ることを予定しています。

リキッドファンデーションモデルの発表を通じて、Liquid AIは基盤モデルセクターでの重要なプレーヤーとしての地位を確立し、優れた性能と無比のメモリ効率を両立させることを目指しています。