Während Unternehmen zunehmend KI-Technologien einführen, stehen sie vor einer entscheidenden Herausforderung: das optimale KI-Modell für jede Aufgabe auszuwählen und dabei Leistung und Kosten in Einklang zu bringen. Modellrouting hat sich als bahnbrechende Lösung erwiesen, die es Organisationen ermöglicht, die Effizienz der KI zu maximieren.
Die Technologie des Modellroutings ermöglicht es Unternehmen, dynamisch das geeignetste KI-Modell für jede Abfrage auszuwählen und transformiert somit grundlegend, wie sie KI-Ressourcen nutzen. Diese Methode verbessert nicht nur die Leistung, sondern senkt auch signifikant die Kosten im Vergleich zur Verwendung eines einzigen, verallgemeinerten Modells.
Martian: Vorreiter im KI-Modellrouting
Ein bemerkenswertes Startup in diesem Bereich ist Martian, das einen innovativen Router für große Sprachmodelle (LLM) entwickelt hat, der die Aufmerksamkeit führender Technologieunternehmen auf sich zog. Kürzlich kündigte Accenture, ein global tätiges Beratungsunternehmen, eine Investition in Martian an, was die wachsende Bedeutung des Modellroutings in den KI-Strategien von Unternehmen unterstreicht.
Accenture plant, Martian in seine Switchboard-Dienste zu integrieren, die Unternehmen bei der Modellauswahl unterstützen. Seit dem Ende der Geheimhaltungsphase im November 2023 hat Martian seine Technologie stetig weiterentwickelt und kürzlich eine neue Funktion zur Einhaltung von KI-Modellen in seine Routing-Plattform integriert.
Das Accenture Switchboard hat bereits die Modellauswahl für Unternehmen erleichtert, aber Martian verbessert diese Fähigkeit durch dynamisches Routing, das die automatische Auswahl des besten Modells nicht nur pro Aufgabe, sondern auch für jede Abfrage ermöglicht. „Dies senkt die Kosten und erhöht die Leistung, da nicht immer dasselbe Modell verwendet werden muss“, erklärt Shriyash Upadhyay, Mitbegründer von Martian.
Lan Guan, der Chief AI Officer von Accenture, merkt an, dass viele Kunden generative KI nutzen möchten und dabei Leistung und Kosten berücksichtigen. „Die Zusammenarbeit zwischen den Switchboard-Diensten von Accenture und Martians dynamischem LLM-Routing optimiert das Nutzererlebnis und ermöglicht Unternehmen, generative KI zu erkunden, die ihren individuellen Bedürfnissen entspricht“, so Guan.
Wie Martian das KI-Abfragerouting optimiert
Die Modellrouter von Martian wählen geschickt das optimale KI-Modell für jede Abfrage aus, indem sie Kernt Technologien nutzen, die auf die Vorhersage des Modellverhaltens abzielen. Upadhyay betont den einzigartigen Ansatz: „Wir konzentrieren uns darauf, die Interna dieser Modelle zu verstehen, da ein Modell genügend Informationen enthält, um sein eigenes Verhalten vorherzusagen.“
Diese Strategie ermöglicht es Martian, das beste Modell für die Ausführung zu identifizieren und dabei Faktoren wie Kosten, Output-Qualität und Latenz zu optimieren. Techniken wie Modellkompression, Quantisierung, Destillation und spezialisierte Modelle ermöglichen diese Vorhersagen, ohne die vollständigen Modelle auszuführen, was sowohl die Leistung steigert als auch die Kosten im Vergleich zu statischen Modelloptionen senkt.
Die Notwendigkeit des Modellroutings in der Unternehmens-KI
Obwohl das Prinzip, das beste Werkzeug für die jeweilige Aufgabe zu verwenden, in der Wirtschaft etabliert ist, bleibt das Bewusstsein für eine Vielzahl von KI-Modelloptionen in vielen Organisationen eine Herausforderung. Upadhyay merkt an: „Oft sind verschiedene Teile großer Unternehmen sich der umfangreichen Palette spezialisierter Modelle nicht bewusst.“
Um KI-Modelle effektiv zu nutzen, ist die Definition von Erfolgskennzahlen entscheidend. Organisationen müssen ermitteln, welche Kennzahlen den Erfolg definieren, und die wichtigsten Ziele für spezifische Anwendungen identifizieren. Kostenoptimierung und Rendite sind ebenso wichtig. Laut Upadhyay spricht das Modellrouting beide Bedürfnisse effektiv an.
Compliance stellt ebenfalls eine Herausforderung für Unternehmen dar, die Martian mit seiner neuen Compliance-Funktion angeht. Diese ermöglicht es Unternehmen, KI-Modelle für die Anwendung zu prüfen und genehmigen, mit einem automatisierten System zur Festlegung von Compliance-Richtlinien.
Agentische KI durch Modellrouting transformieren
Modellrouting spielt eine entscheidende Rolle im aufstrebenden Bereich der agentischen KI, in dem KI-Agenten mehrere Modelle und Aktionen verketten, um gewünschte Ergebnisse zu erzielen. Jeder Schritt in einem Agenten-Workflow hängt von den vorhergehenden Schritten ab, weshalb Fehler sich kumulieren können. Martians dynamisches Routing stellt sicher, dass in jeder Phase das geeignetste Modell angewendet wird, um eine hohe Genauigkeit aufrechtzuerhalten.
„Agenten stellen einen überzeugenden Anwendungsfall für Routing dar; Präzision in jedem Schritt ist entscheidend, um eine Kaskade von Fehlern zu vermeiden“, schließt Upadhyay.
Rangliste
