Stardogs Karaoke: Vor Ort Zero Hallucination LLM-Lösung für Unternehmen

Stardog: Pionier im Enterprise-Datenmanagement mit innovativen KI-Lösungen

Gegründet im Jahr 2006 und mit Hauptsitz in Arlington, Virginia, ist Stardog Vorreiter im Bereich Enterprise-Datenmanagement und Wissensgraphen. Gründer und CEO Kendall Clark erkannte früh, dass datengetriebenes Handeln für Unternehmen des 21. Jahrhunderts entscheidend ist und stellte die Notwendigkeit von Digitalisierung und unmittelbarem Zugriff fest.

Bis heute hat Stardog erfolgreich 40 Millionen Dollar an Fördermitteln gesammelt und arbeitet mit namhaften Kunden wie NASA, dem Verteidigungsministerium, Raytheon und Bosch zusammen. Angesichts der steigenden Nachfrage nach generativen KI-Lösungen sind die Dienste von Stardog für Organisationen in verschiedenen Sektoren zunehmend unverzichtbar geworden.

Einführung von Karaoke: Revolutionierung von On-Premises-KI

In Zusammenarbeit mit Nvidia und Supermicro startet Stardog „Karaoke“, einen innovativen On-Premises-Server, der für die Ausführung der Voicebox Large Language Model (LLM)-Plattform von Stardog konzipiert wurde. Diese Unternehmenslösung, eine spezialisierte Version von Llama 2, die im Oktober 2023 vorgestellt wurde, ermöglicht es Nutzern, unabhängig von ihrem technischen Know-how, natürliche Sprachabfragen in Stardog Cloud zu stellen. Informationen aus den strukturierten Daten des Unternehmens sind nahtlos abrufbar.

Clark erklärt: „Für große Unternehmen, insbesondere in regulierten Branchen, ist es oft nicht praktikabel, alle Daten in die Cloud zu verlagern. Karaoke schließt diese Lücke und bringt die Cloud-Funktionalitäten direkt in die On-Premises-Umgebung, sodass Unternehmen generative KI nutzen können, während die Daten zugänglich bleiben.“

Flexible Serverkonfigurationen

Karaoke wird in verschiedenen Größen angeboten, vom kompakten Micro-Server, der 500 gleichzeitige Nutzer unterstützt, bis zum robusten Enterprise-Modell mit 2304 CPU-Kernen, das bis zu 20.000 Nutzer unterbringt.

Voicebox: Der Datenwissenschaft-Übersetzer

Das Voicebox LLM fungiert als Übersetzer für Nutzeranfragen und verwandelt Fragen wie „Welcher Handel mit dem Euro im letzten Quartal verstieß gegen Sanktionen?“ in relevante Datenwissenschafts-Abfragen (JavaScript, Python oder SQL). Dies ermöglicht eine präzise Abfrage aus dem Wissensgraph von Stardog.

Um Genauigkeit zu gewährleisten und Fehlinformationen zu vermeiden, verwendet Voicebox das Safety RAG (Rapid Accuracy Guarantee)-Design. Clark betont: „Wir präsentieren niemals eine Antwort, die ausschließlich vom LLM generiert wurde. Nutzer sehen nur Antworten, die direkt aus ihren Daten abgeleitet sind, was ihnen Vertrauen in die Ergebnisse gibt.“

Anstatt lediglich Daten zusammenzufassen oder abzurufen, übersetzt Voicebox Nutzeranfragen in programmatische Formen, die ein Datenwissenschaftler erstellen würde. Wenn es eine Anfrage nicht interpretieren kann, antwortet es einfach: „Ich weiß nicht, wie ich Ihre Frage beantworten soll.“

Transparenz und Rückverfolgbarkeit

Voicebox bietet den Nutzern zudem einen digitalen Fußabdruck, der die Quelle der abgerufenen Informationen mit Zitaten und Links anzeigt. Dieses Feature verbessert die Überprüfung und ermöglicht es den Nutzern, den Daten zu vertrauen. Clark hebt hervor: „Unsere Plattform gewährleistet Rückverfolgbarkeit und Herkunft, sodass Nutzer Antworten validieren und die Datenintegrität sicherstellen können.“

Preise und Verfügbarkeit

Stardog plant, die Voicebox LLM-Schicht für 39 Dollar pro Benutzer und Monat anzubieten, die sowohl in Cloud- als auch in virtuellen privaten Cloud-Umgebungen ohne das Karaoke-Gerät betrieben werden kann. Die Preise für die Karaoke-Box hängen von der Benutzeranzahl und den Hardware-Spezifikationen ab, wobei Leasingoptionen von 3 bis 5 Jahren verfügbar sind.

Für regulierte Branchen, die generative KI nutzen möchten und dabei die Compliance aufrechterhalten wollen, bietet Stardogs Karaoke eine effektive Lösung. Da Unternehmen zunehmend KI-Tools in ihren Betrieb integrieren, ist Stardog gut aufgestellt, um die sichere Bereitstellung von On-Premises-Anwendungen für generative KI zu leiten.