Zyphra präsentiert Zamba: ein bahnbrechendes SSM-Hybrid-Foundation-Modell, das die KI-Zugänglichkeit auf einer Vielzahl von Geräten ermöglicht.

Zyphra Technologies hat ein bahnbrechendes Basis-Modell vorgestellt, das die Dezentralisierung der Künstlichen Intelligenz vorantreibt. Zamba, ein Open-Source-KI-Modell mit 7 Milliarden Parametern, nutzt die Mamba-Blöcke des Unternehmens und eine global geteilte Aufmerksamkeitsstruktur. Dieses innovative Modell zielt darauf ab, die Intelligenz auf verschiedenen Geräten zu verbessern und gleichzeitig die Kosten für Inferenz erheblich zu senken.

KI für jedes Gerät

„Unsere Vision ist es, Ihre persönliche KI zu schaffen“, erklärte Krithik Puthalath, CEO von Zyphra Technologies. „Unsere Mission ist es, bessere Verbindungen zwischen Menschen zu fördern. Wo Technologie und soziale Medien eine engere und erfüllendere Welt versprochen haben, sind wir hinter unseren Erwartungen zurückgeblieben. Wir streben danach, die Zukunft der KI zu transformieren.“

Puthalath betonte, dass die Zentralisierung der KI durch große Unternehmen ein kritisches Problem darstellt. „Im Streben nach allgemeiner künstlicher Intelligenz haben Firmen wie OpenAI und Anthropic monolithische Modelle in der Cloud entwickelt – Einzelmodelle, die für alle gedacht sind. Dieser Ansatz hat Einschränkungen und führt zu einem Mangel an Vertrauen in diese Systeme, wodurch KI unpersönlich wirkt. Obwohl ChatGPT wertvolle Antworten liefert, fehlt es an echtem Gedächtnis, Personalisierung und der Fähigkeit, sich im Laufe der Zeit anzupassen.“

Der Wert kleinerer Sprachmodelle

Das 7-Milliarden-Parameter-Modell von Zyphra mag im Vergleich zu größeren Modellen von OpenAI, Anthropic oder Meta, die überzehn Milliarden Parameter verfügen, begrenzt erscheinen. Zyphras Strategie konzentriert sich jedoch darauf, kleine Sprachmodelle (SML) einzusetzen, um die Integration von KI in Alltagsgeräten zu optimieren.

Beren Millidge, Mitgründer und Chief Scientist bei Zyphra, ist überzeugt, dass ihr erstes Modell, BlackMamba, mit 1 Milliarde Parametern als Konzeptnachweis diente, während 7 Milliarden Parameter ideal für bedeutungsvolle Interaktionen sind. „Diese Größe ermöglicht den lokalen Betrieb auf nahezu allen Geräten“, erklärte er. Größere Modelle hingegen erfordern normalerweise leistungsstarke GPU-Cluster, die für die meisten Nutzer unzugänglich sind, was Zyphras Engagement für Dezentralisierung unterstreicht.

„Es geht darum, KI näher an den Nutzer zu bringen“, fügte Puthalath hinzu. „Durch die Entwicklung kleinerer, effizienter Modelle, die auf spezifische Anwendungsfälle zugeschnitten sind, ermöglichen wir sofortige Antworten, ohne auf Cloud-Infrastrukturen angewiesen zu sein. Dieser Ansatz verbessert nicht nur das Nutzererlebnis, sondern senkt auch die Betriebskosten, wodurch mehr in Innovationen investiert werden kann.“

Konkurrenz zu etablierten Modellen

Zyphra behauptet, dass Zamba in einer Konkurrenz zu anderen Open-Source-Modellen wie LLaMA 1, LLaMA 2 7B und OLMo-7B überragt, indem es in verschiedenen Standard-Benchmarks bessere Ergebnisse erzielt und dabei weniger als die Hälfte der Trainingsdaten nutzt. Obwohl erste Tests intern durchgeführt wurden, plant Zyphra, die Gewichte des Modells zur öffentlichen Evaluierung freizugeben.

Auf die Frage nach der Entwicklung der Architektur von Zamba erklärte Millidge, dass ihr Ansatz auf praktischen Einsichten zu bestehenden Modellherausforderungen und möglichen Lösungen basiert. Sie ließen sich auch von der Neurowissenschaft inspirieren und schufen eine Struktur, die die Funktionsweise des menschlichen Gehirns imitiert. Zamba verfügt über einen einzigen globalen Gedächtnisblock, der aus Mamba-Blöcken besteht, und ermöglicht einen effizienten Informationsaustausch, ähnlich der Interaktion zwischen dem Gehirnrinde und dem Hippocampus.

Zyphras Prozess umfasste bedeutende Experimentierungen. „Intuition allein reicht nicht aus“, merkte Millidge an. „Wir müssen Experimente durchführen, um herauszufinden, was funktioniert und was nicht, und dann entsprechend anpassen.“

Das Open-Source-Basis-Modell Zamba ist jetzt auf Hugging Face verfügbar und lädt Nutzer ein, seine Fähigkeiten zu erkunden.