Die Media AI Impact Tour besuchte kürzlich San Francisco und beleuchtete die praktischen Anwendungen von generativer KI sowie die Herausforderungen bei deren Implementierung. Matt Marshall, CEO von einem Medienunternehmen, leitete die Diskussion mit Branchenführern wie Ed Anuff, Chief Product Officer bei DataStax; Nicole Kaufman, Chief Transformation Officer bei Genesis Health; und Tisson Matthew, CEO von Skypoint.
Diese Gespräche sind entscheidend, da Unternehmen den Übergang von ersten Erkundungsphasen der generativen KI zu fortgeschrittenen Implementierungen vollziehen. Firmen gehen von einfachen Experimenten mit Tools wie ChatGPT zu der zentralen Frage über: Wie nutzen wir diese Technologie und integrieren sie mit unseren wichtigen Geschäftsdaten für den produktiven Einsatz?
„Wir erleben das Entstehen eines Reifegradsmodells für KI“, stellte Anuff fest. „Organisationen wandeln sich von einmaligen Projekten, die auf schnelle Ergebnisse abzielen, zu kritischen KI-Initiativen, die von Unternehmensvertretern geleitet werden und sich auf hochgradig sichtbare und wirkungsvolle Implementierungen konzentrieren. Diese Bemühungen können länger dauern, aber ihr transformatives Potenzial ist erheblich.“
Generative KI kann in verschiedenen Anwendungsfällen eingesetzt werden, von Back-Office-Operationen bis hin zu öffentlich zugänglichen Websites und mobilen Anwendungen. Während Unternehmen möglicherweise weiterhin Begriffe wie „Chatbots“ oder „konversationelle Schnittstellen“ verwenden, zielen sie letztlich darauf ab, Wissensanwendungen zu schaffen, die eine interaktive Datenabfrage in passenden Kontexten ermöglichen. Die zentrale Entscheidung besteht darin, ob solche Lösungen intern entwickelt oder kommerzielle Produkte genutzt werden.
Überlegungen zur Vorproduktion
Für den Kundenservice oder die Finanzanalyse möchten viele Unternehmen generative KI nutzen, um Anwendungen zu schaffen, die Erkenntnisse aus internen Daten ableiten. Anuff erklärte: „Je nach Datenvolumen und spezifischen Anforderungen Ihrer maßgeschneiderten Schnittstelle können fertige Lösungen äußerst effektiv sein. Unternehmen wie Amazon bieten Plattformen, die es Ihnen ermöglichen, Dokumente hochzuladen, um sofortige Antworten von Chatbots zu erhalten, was eine schnelle und unkomplizierte Implementierung ermöglicht.“
Wenn Unternehmen jedoch ihren Fokus von kleineren, internen Anwendungen auf kritische Anwendungsfälle lenken, die mit zentralen Geschäftsfunktionen verbunden sind—insbesondere solche, die nach außen gerichtet sind—, könnten grundlegende Lösungen nicht ausreichen. Anuff nannte Gesundheitsanwendungen, die Echtzeitverbindungen zu Datenquellen erfordern, um präzise Antworten auf Grundlage aktueller Patientendaten zu liefern. Er hob auch KI-Agenten in Finanzinstituten der Asia-Pazifik-Region hervor, die sofortigen Zugriff auf chatbasierte Finanzpläne bieten, die durch aktuelle Daten aus Finanzberichten informiert werden.
„Das ist eine maßgeschneiderte KI-RAG (Retrieval-Augmented Generation)-Anwendung, die mit Ihren Kerndaten verknüpft ist“, betonte er. „Renommierte Einzelhändler wie Home Depot oder Best Buy investieren in spezialisierte Web-Engineering-Teams, um maßgeschneiderte Erlebnisse zu entwickeln, die mit ihrer Marke und ihren Geschäftsvorgängen übereinstimmen.“
Berechnung von Bereitschaft und Kosten
Mit dem Fortschritt über die Ideenfindungsphase hinaus stehen Organisationen vor zwei Hauptherausforderungen: Relevanz und Kosten.
„Relevanz ist für viele im Datenbereich ein neuer Schlüsselindikator“, erklärte Anuff. „Organisationen müssen bewerten, wie geeignet ihre KI-generierten Antworten sind. Relevanzprobleme erfordern häufig eine Neubewertung Ihrer gesamten Datenarchitektur.“
Dies beeinflusst auch die zweite Herausforderung—die Kosten. Es ist teuer, relevante, saubere Ergebnisse zu liefern, und Organisationen müssen die Kosten, die mit der Skalierung in die Produktion verbunden sind, weiter bewerten.
„Diskussionen zu diesen Themen bieten einen realistischen Maßstab dafür, wie gut die Teams auf die Produktion vorbereitet sind“, merkte er an. „Wenn Relevanz weiterhin ein Hindernis darstellt, deutet das darauf hin, dass die Teams über anfängliche Architekturprobleme hinausgekommen sind, aber neue Komplexitäten bei den Produktionskosten haben, die oft eng miteinander verbunden sind.“
Halluzinationen, Daten und die Bedeutung von RAG
Der Begriff „Halluzinationen“ wird häufig verwendet, wenn KI-Antworten falsch erscheinen. Während er als nützlicher umgangssprachlicher Begriff dient, ist nicht jede fehlerhafte Antwort eine Halluzination; einige resultieren aus Fehlern in den Trainingsdaten. Halluzinationen treten auf, wenn ein großes Sprachmodell (LLM) über sein Training hinaus extrapoliert und vage oder irreführende Inhalte generiert. Anuff hob hervor, dass es effektive Lösungen für diese Probleme gibt, insbesondere durch RAG.
RAG kombiniert Wissensabruf mit generativer KI, sodass ein System Daten aus einer internen Wissensdatenbank verarbeiten und konsolidieren kann, um kontextbezogene Antworten in natürlicher Sprache zu geben, anstatt lediglich Informationen zusammenzufassen.
„Ein großes Sprachmodell brilliert in zwei Bereichen“, erklärte Anuff. „Erstens versteht es die Nuancen der Sprache. Zweitens dient es als Wissensrepository. Ein Programmierer kann steuern, wie viel von seinem intrinsischen Wissen genutzt wird, indem er Begrenzungen für die Antworten festlegt, bekannt als Grounding. Dies verringert das Risiko von Halluzinationen erheblich, indem das Modell auf relevante Daten konzentriert bleibt.“
Darüber hinaus betonte Anuff, dass RAG entscheidend für die sichere und präzise Integration von Echtzeit-Unternehmensdaten in das Modell während der Inferenz ist.
„Während es andere Methoden der Datenintegration gibt, fehlt es ihnen oft an Sicherheit, Echtzeitfähigkeit und Schutz“, behauptete er. „Aus diesem Grund wird die Nutzung einer Modell-Datenbank-Kopplung—unabhängig davon, ob wir sie RAG nennen oder nicht—auch in Zukunft in der Branche verbreitet bleiben.“
Rangliste
