Während Unternehmen eine zukunftsorientierte Agentenarchitektur anstreben, stellt die Architektur von KI-Modellen eine wesentliche Herausforderung dar. Ori Goshen, CEO von AI21, betont die Notwendigkeit alternativer Modellarchitekturen, um effizientere KI-Agenten zu schaffen, da die herrschenden Transformer-Modelle Einschränkungen aufweisen, die die Etablierung eines Multi-Agenten-Ökosystems behindern.
In einem aktuellen Interview wies Goshen auf die Nachteile der Transformer-Architektur hin: Ihre Rechenintensität steigt mit der Handhabung längerer Kontextinformationen, was die Leistung verlangsamt und die Kosten erhöht. "Agenten benötigen mehrfache Aufrufe an LLMs mit umfangreichem Kontext in jedem Schritt, wodurch Transformer zum Flaschenhals werden", so Goshen.
AI21 plädiert für einen flexibleren Ansatz zur Modellarchitektur und schlägt vor, dass Transformer zwar eine gangbare Option sein können, jedoch nicht die Standardwahl darstellen sollten. Die JAMBA-Architektur—kurz für Joint Attention and Mamba—nutzt das von Forschern der Princeton- und Carnegie-Mellon-Universität entwickelte Mamba-Framework, um die Inferenzgeschwindigkeit zu verbessern und die Kontextfähigkeiten zu erweitern.
Goshen erklärt, dass Mamba-basierte Modelle die Gedächtnisleistung verbessern, was eine bessere Funktionalität für Agenten ermöglicht, insbesondere für solche, die mit anderen Modellen interagieren. Der jüngste Anstieg der Beliebtheit von KI-Agenten ist weitgehend auf die Einschränkungen von LLMs zurückzuführen, die mit Transformer-Technologie entwickelt wurden.
"Der Hauptgrund, warum Agenten sich noch in der Entwicklung befinden und bislang keine breite Anwendung gefunden haben, ist die Zuverlässigkeit. Da LLMs von Natur aus stochastisch sind, müssen zusätzliche Maßnahmen ergriffen werden, um die erforderliche Zuverlässigkeit zu gewährleisten", erklärte Goshen.
KI-Agenten sind in diesem Jahr zu einem führenden Trend in der Unternehmens-KI geworden, wobei mehrere Unternehmen neue Plattformen zur Agentenentwicklung lancieren. So hat ServiceNow seine Now Assist AI-Plattform aktualisiert, um eine Bibliothek von KI-Agenten einzuführen, während Salesforce seinen Agentforce präsentierte. Gleichzeitig ermöglicht Slack den Nutzern die Integration von Agenten verschiedener Unternehmen, darunter Salesforce, Cohere und Adobe.
Goshen ist überzeugt, dass mit der richtigen Mischung aus Modellen und Architekturen das Interesse an KI-Agenten steigen wird. "Aktuelle Anwendungsfälle, wie Chatbot-FAQ-Funktionen, ähneln hauptsächlich einer erweiterten Suchfunktion. Wahre Intelligenz zeigt sich in der Fähigkeit, vielfältige Informationen aus unterschiedlichen Quellen zu verbinden und abzurufen", meinte er. AI21 entwickelt aktiv seine Angebote rund um KI-Agenten, um dieser Nachfrage gerecht zu werden.
Da die Mamba-Architektur an Bedeutung gewinnt, bleibt Goshen ein lautstarker Befürworter und behauptet, dass die Kosten und die Komplexität der Transformer ihre praktischen Anwendungen verringern. Im Gegensatz zu Transformern, die auf einem festen Aufmerksamkeitsmechanismus basieren, konzentriert sich Mamba darauf, den Speicher effizient zu nutzen und die GPU-Verarbeitungskraft optimal einzusetzen.
Die Nachfrage nach Mamba steigt, während andere Entwickler Mamba-basierte Modelle wie Mistrals Codestral Mamba 7B und Falcons Falcon Mamba 7B veröffentlichen. Dennoch dominieren Transformer weiterhin als Standardwahl für Fundamentmodelle, einschließlich OpenAIs erfolgreichem GPT.
Letztendlich betont Goshen, dass Unternehmen Zuverlässigkeit über eine bestimmte Architektur priorisieren. Organisationen sollten jedoch vorsichtig gegenüber verlockenden Demos sein, die umfassende Lösungen versprechen. "Wir befinden uns in einer Phase, in der fesselnde Demonstrationen verbreitet sind, aber wir befinden uns noch im Übergang zur anwendbaren Produktphase", warnte er. "Während Unternehmens-KI für Forschung wertvoll ist, ist sie noch nicht bereit, kritische Geschäftsentscheidungen zu beeinflussen."
Rangliste
