Die sichere Implementierung von KI-Modellen in Unternehmen
Für Unternehmen, die KI-Modelle in ihre Abläufe integrieren möchten – sei es für Mitarbeiter oder Kunden – ist die wichtigste Frage nicht nur, welches Modell zu wählen oder wie es eingesetzt werden soll. Vielmehr geht es darum, zu bestimmen, wann das gewählte Modell sicher eingesetzt werden kann.
Wie viel Backend-Testing ist erforderlich? Welche Tests sollten durchgeführt werden? Unternehmen möchten verständlicherweise Missgeschicke vermeiden, wie sie bei einigen Autohändlern auftraten, die ChatGPT für den Kundenservice nutzten und von Nutzern dazu gebracht wurden, den Verkauf von Autos für 1 Dollar zuzustimmen.
Die Bedeutung gründlicher Tests
Eine ordnungsgemäße Prüfung von KI-Modellen, insbesondere von fein abgestimmten Versionen, kann den entscheidenden Unterschied zwischen einem erfolgreichen Launch und einem, der den Ruf und die Finanzen eines Unternehmens gefährdet, ausmachen. Kolena, ein in San Francisco ansässiges Start-up, das von einem ehemaligen leitenden Ingenieur bei Amazon mitgegründet wurde, hat kürzlich seine KI-Qualitätsplattform vorgestellt. Diese Webanwendung ist darauf ausgelegt, die rasche und präzise Prüfung und Validierung von KI-Systemen zu erleichtern.
Die Plattform umfasst verschiedene Funktionen, einschließlich der Überwachung der Datenqualität, Modelltests, A/B-Tests sowie Monitoring für Datenabweichungen und Modellverschlechterung über die Zeit. Sie bietet zudem Debugging-Funktionen.
„Die Lösung dieses Problems ist entscheidend für die Förderung der KI-Adoption in Unternehmen“, bemerkte Mohamed Elgendy, Mitgründer und CEO von Kolena, in einem exklusiven Medieninterview. Elgendy bringt wertvolle Erfahrungen aus seinen früheren Positionen als VP Engineering bei Rakuten und leitender Ingenieur bei Amazon mit, sodass er die Herausforderungen kennt, vor denen Unternehmen bei der KI-Implementierung stehen.
So funktioniert Kolena’s KI-Qualitätsplattform
Die Lösung von Kolena zielt darauf ab, Softwareentwicklern und IT-Personal dabei zu helfen, sichere, zuverlässige und gerechte KI-Systeme für reale Anwendungen zu schaffen. Durch die schnelle Entwicklung detaillierter Testfälle aus Datensätzen ermöglicht die Plattform eine rigorose Untersuchung von KI/ML-Modellen in realistischen Szenarien, anstatt sich nur auf breite statistische Kennzahlen zu stützen, die wesentliche Leistungskennzahlen verschleiern können.
Jeder Kolena-Kunde verbindet sein gewähltes Modell über API und stellt seinen eigenen Datensatz sowie funktionale Anforderungen für den Betrieb des Modells bereit – sei es Text, Bilder, Code, Audio oder andere Inhalte. Zudem können Kunden Attribute wie Verzerrungen sowie die Vielfalt von Alter, Rasse und Ethnie in verschiedenen Kennzahlen bewerten. Kolena führt Tests durch, die Hunderte oder Tausende von Interaktionen simulieren, um unerwünschte Ergebnisse zu identifizieren, einschließlich der Häufigkeit ihres Auftretens und der Umstände.
Darüber hinaus testet Kolena Modelle nach Aktualisierungen, Neutrainings oder Anpassungen durch Anbieter oder Kunden erneut.
„Es werden Tests durchgeführt, um genau zu bestimmen, wo Ihr Modell schlechter geworden ist. Kolena verwandelt das Testen in eine präzise Ingenieurdiziplin, ähnlich wie in der Softwareentwicklung“, erklärt Elgendy. Diese Fähigkeit ist nicht nur für Unternehmen wertvoll, sondern auch für Anbieter von KI-Modellen. Elgendy stellte fest, dass Google’s Gemini, das wegen der Erzeugung ungenauer Bilder in die Kritik geriet, von den strengen Tests, die Kolenas Plattform vor ihrer Veröffentlichung geboten hätte, profitiert hätte.
Umfassendes Testen vor dem Start
Im Einklang mit seinen Ambitionen sorgt Kolena für umfassende Tests seiner KI-Qualitätsplattform vor einer breiteren Veröffentlichung. Das Unternehmen hat in den letzten 24 Monaten geschlossene Betatests mit Fortune-500-Unternehmen und Start-ups durchgeführt und die Plattform basierend auf dem Feedback und den Bedürfnissen der Nutzer verfeinert.
„Wir haben eng mit einer ausgewählten Gruppe von Kunden zusammengearbeitet, um sowohl bekannte als auch unbekannte Herausforderungen zu definieren“, erklärte Elgendy. Diese Gruppe hat insgesamt „zehntausende“ Tests an KI-Modellen mit Kolenas Plattform durchgeführt.
Für die Zukunft plant Kolena, Kunden in drei wichtigen Bereichen zu engagieren: 1. Entwickler von KI-Grundlagenmodellen, 2. Käufer im Technologiesektor und 3. Käufer aus nicht-technischen Branchen. Ein Partner nutzt beispielsweise eine große Sprachmodell-Lösung, um die Abläufe an Schnellrestaurant-Fahrspuren zu optimieren, während ein anderer Anbieter auf Entwickler autonomer Fahrzeuge abzielt.
Preise und Zugänglichkeit
Kolenas KI-Qualitätsplattform arbeitet nach dem Software-as-a-Service (SaaS)-Modell und bietet drei Preissegmente, die die AI-Wachstumsstrategien eines Unternehmens unterstützen, von anfänglichen Datenqualitätsbewertungen über Modelltraining bis hin zur endgültigen Implementierung.
Rangliste
