MIT-Spin-off Liquid präsentiert hochmoderne KI-Modelle ohne Transformatoren

Liquid AI, ein von ehemaligen MIT-Forschern des Computer Science and Artificial Intelligence Laboratory (CSAIL) gegründetes Startup, hat seine ersten multimodalen KI-Modelle vorgestellt: die Liquid Foundation Models (LFMs).

Im Gegensatz zu vielen aktuellen generativen KI-Modellen, die auf der Transformer-Architektur basieren, insbesondere dem berühmten Rahmenwerk „Attention Is All You Need“ aus dem Jahr 2017, zielt Liquid AI darauf ab, Alternativen zu Generative Pre-trained Transformers (GPTs) zu erkunden. Die LFMs sind nach „Wurfprinzips“ konstruiert, ähnlich wie Ingenieure Motoren und Flugzeuge entwickeln.

Diese innovativen LFMs zeigen eine überlegene Leistung im Vergleich zu ähnlichen transformerbasierten Modellen, wie Meta’s Llama 3.1-8B und Microsofts Phi-3.5 3.8B. Die Modelle sind in drei Größen erhältlich: LFM 1.3B (klein), LFM 3B und das große LFM 40B MoE (ein Mixture-of-Experts-Modell), wobei die Zahl der Parameter mit „B“ für Milliarden angegeben wird. Ein höherer Parameterumfang deutet typischerweise auf eine größere Leistungsfähigkeit bei unterschiedlichen Aufgaben hin.

Die LFM 1.3B-Version hat bereits Meta's Llama 3.2-1.2B und Microsofts Phi-1.5 in verschiedenen Drittanbieter-Benchmarks, darunter den Massive Multitask Language Understanding (MMLU) Test, übertroffen, was einen bedeutenden Erfolg für eine nicht-GPT-Architektur darstellt. Alle drei Modelle vereinen hohe Leistung mit Speichereffizienz; so benötigt das LFM-3B-Modell von Liquid lediglich 16 GB Arbeitsspeicher, während Meta's Llama-3.2-3B über 48 GB benötigt.

Maxime Labonne, Head of Post-Training bei Liquid AI, äußerte auf seinen sozialen Medien stolz über die LFMs und hob ihre Effizienz sowie ihre Überlegenheit gegenüber Transformer-Modellen in Leistungsbenchmarks bei gleichzeitig deutlich geringerem Speicherbedarf hervor. Diese Modelle sind für zahlreiche Anwendungen optimiert, darunter Unternehmenslösungen in den Bereichen Finanzen, Biotechnologie und Unterhaltungselektronik, sowie den Einsatz auf Edge-Geräten.

Es ist jedoch wichtig zu beachten, dass die LFMs nicht als Open Source verfügbar sind. Nutzer müssen über Liquid's Inferenz-Spielplätze, wie Lambda Chat oder Perplexity AI, darauf zugreifen.

Der Ansatz von Liquid zur Entwicklung der LFMs integriert eine Kombination von Berechnungseinheiten, die auf der Theorie dynamischer Systeme, Signalverarbeitung und numerischer Linearalgebra basieren. Dies führt zu universellen KI-Modellen, die in der Lage sind, verschiedene Typen sequentieller Daten zu verarbeiten, einschließlich Video, Audio, Text und Zeitserien.

Im vergangenen Jahr wurde berichtet, dass Liquid AI den Fokus auf Liquid Neural Networks (LNNs) gelegt hat, eine von CSAIL entwickelte Architektur zur Verbesserung der Effizienz und Anpassungsfähigkeit künstlicher Neuronen. Im Gegensatz zu herkömmlichen Deep-Learning-Modellen, die zahlreiche Neuronen für komplexe Aufgaben erfordern, zeigen LNNs, dass weniger Neuronen – in Kombination mit innovativen mathematischen Techniken – vergleichbare Ergebnisse erzielen können.

Die LFMs nutzen diese Anpassungsfähigkeit, die Echtzeitanpassungen während der Inferenz mit minimalem Rechenaufwand ermöglicht. Beispielsweise zeichnet sich das LFM-3B-Modell durch die Verarbeitung von langen Kontexten aus, während es einen kleineren Speicherbedarf im Vergleich zu Modellen wie Googles Gemma-2, Microsofts Phi-3 und Metas Llama-3.2 aufweist.

Durch ihre multimodalen Fähigkeiten adressiert Liquid AI unterschiedliche Herausforderungen in den Branchen Finanzdienstleistungen, Biotechnologie und Unterhaltungselektronik.

Aktuell in der Vorschauphase, ermutigt Liquid AI Frühadopter, die Modelle zu testen und Feedback zu geben. Ein vollständiges Launch-Event ist für den 23. Oktober 2024 im Kresge Auditorium des MIT in Cambridge, MA, geplant, mit Möglichkeit zur Anmeldung. In Vorbereitung darauf plant Liquid AI, eine Reihe technischer Blogbeiträge zu veröffentlichen und red-teaming Bemühungen zu fördern, um Nutzer einzuladen, die Modelle auf Stresstest für zukünftige Verbesserungen zu prüfen.

Mit der Einführung der Liquid Foundation Models beabsichtigt Liquid AI, sich als bedeutender Akteur im Bereich der Foundation Models zu etablieren, indem außergewöhnliche Leistung mit unvergleichlicher Speichereffizienz kombiniert wird.