Transformatoren spielen eine entscheidende Rolle im Bereich der generativen KI, sind jedoch nicht die einzig verfügbare Methode zur Modellentwicklung. AI21 hat heute neue Versionen seines Jamba-Modells vorgestellt, die Transformatoren mit einem Structured State Space (SSM) Ansatz kombinieren. Die Versionen Jamba 1.5 Mini und Large erweitern die Innovationen von Jamba 1.0 aus dem März. Mit einer SSM-Methode namens Mamba will Jamba die Stärken sowohl von Transformatoren als auch von SSM vereinen. Der Name "Jamba" steht für Joint Attention und Mamba-Architektur, was eine verbesserte Leistung und Genauigkeit verspricht, die über das hinausgeht, was jedes Modell für sich erreichen kann.
„Wir haben großartiges Feedback aus der Community erhalten; dies war das erste – und bleibt eines der wenigen – produktionsreifen Modelle, das auf Mamba basiert“, sagte Or Dagan, VP of Product bei AI21. „Diese neuartige Architektur hat Diskussionen über die Zukunft von LLM-Architekturen und die Rolle der Transformatoren angeregt.“
Die Jamba 1.5 Serie führt verbesserte Funktionen ein, darunter Funktionsaufrufe, JSON-Modus, strukturierte Dokumentobjekte und Zitiermodus. Diese Ergänzungen positionieren die Modelle als ideale Kandidaten für die Entwicklung agentischer KI-Systeme. Beide Versionen verfügen über ein umfangreiches Kontextfenster von 256K und nutzen eine Mixture-of-Experts (MoE) Architektur, wobei Jamba 1.5 Mini 52 Milliarden Gesamtparameter (12 Milliarden aktiv) und Jamba 1.5 Large 398 Milliarden Gesamtparameter (94 Milliarden aktiv) bietet.
Diese Modelle sind unter einer offenen Lizenz verfügbar, wobei AI21 kommerzielle Unterstützung und Dienstleistungen bereitstellt. Das Unternehmen hat Partnerschaften mit AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks und Nvidia etabliert.
Neue Funktionen von Jamba 1.5: Agentische KI beschleunigen
Die Modelle Jamba 1.5 Mini und Large bieten mehrere neue Funktionen, die darauf abzielen, den sich wandelnden Anforderungen von KI-Entwicklern gerecht zu werden:
- JSON-Modus für effiziente Verarbeitung strukturierter Daten
- Zitationen zur Verbesserung der Nachvollziehbarkeit
- Dokumenten-API für ein verbessertes Kontextmanagement
- Möglichkeiten zum Funktionsaufruf
Laut Dagan sind diese Verbesserungen entscheidend für Entwickler, die agentische KI-Systeme vorantreiben. JSON (JavaScript Object Notation) wird häufig zur Erstellung von Anwendungsabläufen verwendet, und die Aufnahme erleichtert klarere Eingabe/Ausgabe-Beziehungen in komplexen KI-Umgebungen, die über die grundlegende Nutzung von Sprachmodellen hinausgehen. Die Zitierfunktion arbeitet Hand in Hand mit der neuen Dokumenten-API. „Wir bringen dem Modell bei, relevante Inhalte den Dokumenten zuzuordnen, die während der Generierung bereitgestellt werden“, erklärte Dagan.
Unterscheidung zwischen Zitiermodus und RAG
Es ist wichtig, den Zitiermodus von Retrieval Augmented Generation (RAG) zu unterscheiden, obwohl beide darauf abzielen, KI-Ausgaben mit zuverlässigen Daten zu verankern. Dagan stellte klar, dass der Zitiermodus von Jamba 1.5 für eine nahtlose Integration mit der Dokumenten-API konzipiert ist und einen ganzheitlicheren Ansatz bietet als traditionelle RAG-Methoden. In standardmäßigen RAG-Setups verbinden Entwickler ein Sprachmodell mit einer Vektordatenbank, was erfordert, dass das Modell die abgerufenen Daten effektiv in seine Ausgaben integriert.
Im Gegensatz dazu ist der Zitiermodus in Jamba 1.5 eng mit dem Modell selbst verknüpft, sodass es Informationen abrufen, integrieren und die verwendeten Informationsquellen explizit zitieren kann. Diese Funktion erhöht die Transparenz und Rückverfolgbarkeit im Vergleich zu herkömmlichen LLM-Workflows, bei denen die Argumentation des Modells weniger klar sein kann.
AI21 unterstützt auch RAG-Lösungen und bietet einen End-to-End verwalteten Dienst an, der Retrieval und Indizierung von Dokumenten umfasst.
Für die Zukunft betonte Dagan das Engagement von AI21, seine Modelle weiterzuentwickeln, um den Kundenanforderungen gerecht zu werden, mit einem kontinuierlichen Fokus auf die Entwicklung agentischer KI-Fähigkeiten. „Wir erkennen die Notwendigkeit, in agentischen KI-Systemen zu innovieren, insbesondere in Bezug auf Planung und Ausführung“, erklärte er.
Rangliste
