Experten für Medien und Technologie sind sich einig, dass Open-Source-Modelle für große Sprachverarbeitung (LLMs) einen erheblichen Einfluss auf generative KI in Unternehmen haben könnten, möglicherweise stärker als proprietäre Modelle wie OpenAIs ChatGPT oder die Angebote von Anthropic.
Trotz umfangreicher Experimente und zahlreicher Pilotprojekte mit Open-Source-Modellen haben etablierte Unternehmen bisher zögerlich ihre realen Anwendungen offenbart. Um dem entgegenzuwirken, haben wir führende Anbieter von Open-Source-LLMs kontaktiert, darunter Meta, Mistral AI, IBM, Hugging Face, Dell, Databricks, AWS und Microsoft.
Unsere Anfragen haben 16 bemerkenswerte Anwendungsfälle ans Licht gebracht (siehe Liste unten). Obwohl diese Zahl gering erscheint, erwarten Branchenanalysten bis Ende des Jahres einen Anstieg der Open-Source-Anwendungen.
Herausforderungen bei der Einführung von Open-Source-LLMs
Ein Grund für die langsame Akzeptanz von Open-Source-Modellen ist ihr relativ junges Alter. Meta hat das erste bedeutende Open-Source-Modell, Llama, im Februar 2023 veröffentlicht, nur drei Monate nach der Einführung von ChatGPT durch OpenAI im November 2022. Mistral AIs Mixtral-Modell, das in verschiedenen Benchmarks gelobt wurde, kam erst vor einem Monat auf den Markt. Dadurch stehen reale Einsätze erst am Anfang.
Open-Source-Befürworter räumen ein, dass der Anteil geschlossener Modelle derzeit höher ist, prognostizieren jedoch, dass diese Lücke sich schließen wird.
Limitationen der aktuellen Open-Source-Modelle
Es gibt Einschränkungen bei den derzeit verfügbaren Open-Source-Modellen. Amjad Masad, CEO des Software-Startups Replit, wies darauf hin, dass der Rückmeldungsmechanismus für die Modellentwicklung ineffektiv sei, da es schwierig sei, zur Verbesserung beizutragen. Dennoch haben viele möglicherweise die umfangreichen Experimentierungen unter Open-Source-Entwicklern unterschätzt, die tausende abgeleitete Modelle geschaffen haben – einige zeigen bei spezifischen Aufgaben, wie z. B. FinGPT und BioBert, gleichwertige oder sogar überlegene Leistungen im Vergleich zu geschlossenen Modellen.
Der begrenzte Wert großer öffentlicher Modelle für Unternehmen
Laut Matt Baker, Senior Vice President für KI-Strategie bei Dell, haben "große öffentliche Modelle für private Unternehmen wenig bis keinen Wert." Baker erklärte, dass diese Modelle tendenziell zu allgemein sind und keine einfache Integration privater Unternehmensdaten ermöglichen, die etwa 95 % der von Organisationen geleisteten KI-Arbeit ausmachen.
Infolgedessen erkunden viele Unternehmen Open-Source-Lösungen für Kundenservice und Code-Generierung, wobei sie oft benutzerdefinierte Codes verwenden, die mit generischen geschlossenen LLMs nicht kompatibel sind.
Langsame Bewegungen aufgrund von Unternehmensüberlegungen
Andrew Jardine von Hugging Face merkte an, dass Unternehmen oft zögern, LLM-Anwendungen zu übernehmen, da sie Datenschutz, Kundenerfahrung und ethische Implikationen priorisieren. Firmen testen zunächst interne Anwendungsfälle, bevor sie externe Anwendungen in Betracht ziehen. Während geschlossene Modelle gegen Ende 2023 signifikant implementiert wurden, wird für dieses Jahr ein beschleunigter Einsatz von Open-Source-Modellen erwartet.
Trotz ihrer Vorteile empfinden einige Unternehmen Open-Source-Lösungen als umständlich. Die Arbeit mit etablierten APIs von Anbietern wie OpenAI wird oft als einfacher angesehen als die Verwaltung von Open-Source-Lizenzierung und Governance.
Die Brücke zwischen offenen und geschlossenen Modellen
Jardine betonte, dass die Unterscheidung zwischen offenen und geschlossenen Modellen zunehmend verschwommener wird. So nutzen viele Unternehmen, darunter eine große Pharmafirma, ein geschlossenes LLM für interne Aufgaben und ein Open-Source-Modell für spezifische Funktionen wie die Identifizierung sensibler Informationen. Diese Entscheidung spiegelt den Wunsch nach größerer Datenkontrolle wider.
Der Grund für die Annahme von Open Source
Da sich die Faktoren für Modellanpassungen und Kosten schnell ändern, werden Unternehmen voraussichtlich nach der Flexibilität suchen, zwischen offenen und geschlossenen Modellen zu wechseln, um Risiken zu minimieren. Firmen neigen oft zu Open-Source-Modellen, um die Kontrolle über sensible Daten zu behalten, während sie diese auf spezialisierte Anwendungen anpassen.
Mehrere Unternehmen, wie Intuit und Perplexity, entwickeln bereits generative KI-Orchestrierungsschichten, die eine nahtlose Integration verschiedener Modelle für spezifische Aufgaben ermöglichen, unabhängig von deren offenem oder geschlossenem Status. Obwohl die großflächige Implementierung von Open-Source-Modellen mehr Aufwand erfordern kann, bieten sie langfristige Kosteneinsparungen, insbesondere für Organisationen mit bestehender Infrastruktur.
Viele Unternehmen nutzen still und heimlich Open-Source-Modelle. Beispielsweise experimentieren Automobilhersteller und Fluggesellschaften mit Anwendungen, die auf Databricks’ Lakehouse-Plattform betrieben werden und Open-Source-LLMs integrieren.
Herausforderungen bei der Identifizierung von Open-Source-Einsätzen
Die Definition von legitimen Unternehmensanwendungsfällen kann herausfordernd sein. Während viele Entwickler und Startups Anwendungen mit Open-Source-LLMs erstellen, wollten wir etablierte Unternehmen mit signifikanten Anwendungen hervorheben. Wir definierten ein Unternehmen als eines mit mindestens 100 Mitarbeitern und konzentrierten uns auf Endnutzende anstelle von Anbietern von LLM-Technologie.
Die genaue Definition von "Open Source" ist ebenfalls herausfordernd, wie das Beispiel von Metas Llama zeigt, das über eine eingeschränkte Lizenz verfügt. Zudem haben Unternehmen wie Writer ihre eigenen LLMs entwickelt, wobei nur bestimmte Modelle Open Source sind, was die Kategorisierung erschwert.
Nachfolgend einige dokumentierte Unternehmensanwendungen von Open-Source-LLMs:
1. VMWare: Nutzt das Hugging Face StarCoder-Modell für verbesserte Codegenerierung in einer selbst gehosteten Umgebung, um die Sicherheit proprietären Codes zu gewährleisten.
2. Brave: Der datenschutzorientierte Browser verwendet das Mixtral 8x7B-Modell für seinen konversationalen Assistenten Leo.
3. Gab Wireless: Setzt Hugging Face-Modelle ein, um Nachrichten zur Sicherheit von Kindern zu filtern und unangemessene Inhalte zu blockieren.
4. Wells Fargo: Nutzt Metas Llama 2-Modell für verschiedene interne Anwendungen zur Verbesserung der Mitarbeiterressourcen.
5. IBM: Integriert Open-Source-LLMs in seiner AskHR-App, die Mitarbeitern bei HR-Anfragen hilft und auch in neuen Beratungsdiensten eingesetzt wird.
6. Die Grammy Awards: Arbeitet mit IBM an "AI Stories", um Llama 2 zur Generierung maßgeschneiderter Einblicke und Inhalte für Fans zu nutzen.
7-9. Masters Tournament, Wimbledon, US Open: Nutzen IBMs Technologie für Echtzeitkommentare und Highlight-Generierung während der Veranstaltungen.
10. Perplexity: Ein Startup, das die Suche neu erfindet und Open-Source-LLMs zur Zusammenfassung von Antworten in seiner Suchmaschine einsetzt.
11. CyberAgent: Verwendet Open-Source-LLMs von Dell für die japanische Sprachmodellierung, die auf Benutzerbedürfnisse zugeschnitten ist.
12. Intuit: Kombiniert eigene LLMs mit Open-Source-Modellen zur Verbesserung der Funktionen des Intuit Assist.
13. Walmart: Entwickelt konversationale KI-Anwendungen und nutzte zunächst das Open-Source-BERT-Modell von Google.
14. Shopify: Setzt Llama 2 in Sidekick ein, einem KI-Tool, das Aufgaben für E-Commerce-Unternehmer optimiert.
15. LyRise: Ein Startup zur Talentsuche, das einen Chatbot für das Recruiting entwickelt und Llama für Interaktionen nutzt.
16. Niantic: Nutzt Llama 2 für die Charakterinteraktionen im Mobilspiel Peridot.
Trotz der bestehenden Herausforderungen in der Definition und Nachverfolgung dieser Einsätze steigt das Interesse an Open-Source-LLMs. Da immer mehr Unternehmen ihr Potenzial erkunden, erwarten wir, dass die Anzahl öffentlicher Anwendungsfälle wächst. Wir werden diese Liste weiterhin aktualisieren, sobald neue Informationen verfügbar werden.
Rangliste
