Heute hat Databricks die Einführung neuer Werkzeuge für Retrieval Augmented Generation (RAG) innerhalb seiner Data Intelligence Platform bekanntgegeben. Diese Werkzeuge wurden entwickelt, um Unternehmen dabei zu helfen, qualitativ hochwertige Anwendungen für große Sprachmodelle (LLM) zu erstellen, bereitzustellen und zu warten, die auf verschiedene Anwendungsfälle zugeschnitten sind.
Die Tools sind jetzt im öffentlichen Vorschau verfügbar und adressieren wesentliche Herausforderungen bei der Entwicklung produktionsreifer RAG-Anwendungen. Sie optimieren den Prozess der Integration relevanter Echtzeit-Geschäftsdaten aus verschiedenen Quellen mit den geeigneten Modellen und ermöglichen gleichzeitig eine effektive Überwachung der Anwendungen auf Probleme wie toxische Ausgaben, die häufig LLMs betreffen.
Craig Wiley, Senior Director of Product für KI/ML bei Databricks, betonte die Dringlichkeit der Entwicklung von RAG-Anwendungen: „Organisationen haben Schwierigkeiten, Lösungen bereitzustellen, die konsistent genaue und qualitativ hochwertige Antworten liefern, während sie Schutzmechanismen implementieren, um unerwünschte Ausgaben zu vermeiden.“
RAG verstehen und Herausforderungen meistern
Obwohl LLMs an Popularität gewinnen, beruhen viele bestehende Modelle auf parametrisierten Wissen, was ihre Fähigkeit einschränkt, aktuelle und kontextbezogene Antworten zu geben, insbesondere für interne Geschäftsanforderungen. Retrieval Augmented Generation (RAG) nutzt spezifische Datenquellen, um die Genauigkeit und Zuverlässigkeit der Modellantworten zu erhöhen. Ein Beispiel hierfür ist ein Modell, das auf HR-Daten trainiert ist und Mitarbeitern bei verschiedenen Anfragen hilft.
RAG umfasst mehrere komplexe Aufgaben, darunter das Sammeln und Aufbereiten von strukturierten und unstrukturierten Daten aus verschiedenen Quellen, die Auswahl von Modellen, die Gestaltung von Prompts und die fortlaufende Überwachung. Dieser fragmentierte Ansatz führt oft zu schlecht performenden RAG-Anwendungen.
Databricks führt den Weg an
Die neuen RAG-Werkzeuge von Databricks integrieren verschiedene Prozesse, sodass Teams schnell qualitativ hochwertige RAG-Anwendungen prototypisieren und bereitstellen können. Funktionen wie Vektorsuche und Feature-Serving beseitigen die Notwendigkeit, umständliche Datenpipelines zu erstellen, da strukturierte und unstrukturierte Daten aus Delta-Tabellen nahtlos mit der LLM-Anwendung synchronisiert werden. Dies gewährleistet den Zugriff auf die neuesten und relevantesten Geschäftsinformationen für präzise und kontextbewusste Antworten.
„Unity Catalog verfolgt automatisch die Herkunft von offline und online Datensätzen, was die Fehlersuche bei Datenqualitätsproblemen vereinfacht und die Zugangskontrolle für eine bessere Datenverwaltung durchsetzt“, bemerkten der Mitgründer und VP Engineering von Databricks, Patrick Wendell, sowie der CTO von Neural Networks, Hanlin Tang.
Darüber hinaus können Entwickler den einheitlichen KI-Spielplatz und die MLFlow-Bewertung nutzen, um Modelle unterschiedlicher Anbieter zu evaluieren, darunter Azure OpenAI Service, AWS Bedrock sowie Open-Source-Optionen wie Llama 2 und MPT. Diese Flexibilität ermöglicht es Teams, Projekte mit den leistungsstärksten und kosteneffizientesten Modellen bereitzustellen und jederzeit auf verbesserte Lösungen umzuschwenken, sobald sie verfügbar sind.
Erweiterte Überwachungsfunktionen
Nach der Bereitstellung einer RAG-Anwendung ist die Überwachung ihrer Leistung im großen Maßstab entscheidend. Databricks bietet eine vollständig verwaltete Lakehouse-Monitoring-Funktion, die automatisch Anwendungsantworten auf Toxizität, Halluzinationen oder unsichere Inhalte scannt. Diese proaktive Erkennung fließt in Dashboards, Alarmierungssysteme und Datenpipelines ein, sodass Teams schnell korrigierende Maßnahmen ergreifen können. Die Funktion integriert sich mit der Herkunft von Modellen und Datensätzen und ermöglicht so die schnelle Identifikation von Fehlern und deren Ursachen.
Erfolg der frühen Anwender
Obwohl die neuen Werkzeuge gerade erst eingeführt wurden, testen Unternehmen wie der RV-Zulieferer Lippert und die EQT Corporation bereits ihre Funktionen innerhalb der Databricks Data Intelligence Platform. Chris Nishnick, der die Daten- und KI-Initiativen bei Lippert leitet, erläuterte: „Databricks verbessert unsere Callcenter-Operationen, indem es verschiedene Inhaltsquellen in unsere Vektorsuche integriert, sodass die Agenten das notwendige Wissen griffbereit haben. Dieser innovative Ansatz steigert die Effizienz und den Kundenservice erheblich.“
Intern setzt auch Databricks RAG-Anwendungen ein. Laut Wiley testet das IT-Team des Unternehmens einen RAG-Slackbot für Account Executives sowie ein Browser-Plugin für Vertriebsentwicklungsmitarbeiter.
In Anbetracht der wachsenden Nachfrage nach spezialisierten LLM-Anwendungen plant Databricks, erheblich in seine Suite von RAG-Werkzeugen zu investieren. Ziel ist es, Kunden zu befähigen, qualitativ hochwertige LLM-Anwendungen in großem Maßstab bereitzustellen, wobei das Unternehmen weiterhin in Forschung und zukünftige Innovationen in diesem Bereich engagiert ist.
Rangliste
