Karaoké de Stardog : solution LLM sans hallucination sur site, conçue pour les entreprises.

Stardog : Pionnier de la Gestion des Données d'Entreprise avec des Solutions IA Innovantes

Fondée en 2006 et basée à Arlington, en Virginie, Stardog se positionne à l'avant-garde de la gestion des données d'entreprise et des graphes de connaissances. Anticipant que les entreprises du XXIe siècle sont propulsées par les données, le fondateur et PDG Kendall Clark a souligné l'importance cruciale de la numérisation et de l'accessibilité instantanée.

À ce jour, Stardog a réussi à lever 40 millions de dollars et collabore avec des clients réputés tels que la NASA, le Département de la Défense, Raytheon et Bosch. Avec la demande croissante de solutions IA génératives, les services de Stardog sont devenus essentiels pour les organisations de divers secteurs.

Présentation de Karaoke : Révolutionner l’IA sur Site

Dans un effort collaboratif avec Nvidia et Supermicro, Stardog introduit "Karaoke", un serveur sur site innovant conçu pour héberger la plateforme Voicebox Large Language Model (LLM) de Stardog. Cette solution de qualité entreprise, une version spécialisée de Llama 2 dévoilée en octobre 2023, permet aux utilisateurs—quels que soient leurs compétences techniques—de poser des requêtes en langage naturel dans Stardog Cloud. Les utilisateurs peuvent accéder facilement aux informations tirées des données structurées de leur entreprise.

Comme l'explique Clark, « Pour les grandes entreprises, en particulier dans les secteurs réglementés, déplacer toutes les données vers le cloud n'est souvent pas réalisable. Karaoke comble cette lacune, apportant les capacités cloud directement dans l'environnement sur site, permettant aux entreprises de profiter de l'IA générative tout en maintenant l'accessibilité des données. »

Configurations de Serveur Flexibles

Karaoke est proposé en différentes tailles, du serveur Micro compact, pouvant accueillir 500 utilisateurs simultanés, au modèle Enterprise robuste avec 2304 cœurs CPU, prenant en charge jusqu'à 20 000 utilisateurs.

Voicebox : Le Traducteur de la Science des Données

Le LLM Voicebox agit comme un traducteur pour les requêtes des utilisateurs, transformant des questions telles que « Quel commerce sur l'Euro le trimestre dernier a violé les sanctions ? » en requêtes pertinentes en science des données (JavaScript, Python ou SQL). Cela permet un accès précis aux informations du Graphe de Connaissances de Stardog.

Pour garantir l'exactitude et éliminer les hallucinations, Voicebox utilise le design Safety RAG (Rapid Accuracy Guarantee). Comme le souligne Clark, « Nous ne présentons jamais une réponse uniquement générée par le LLM. Les utilisateurs voient uniquement des réponses directement dérivées de leurs données, leur permettant ainsi de faire confiance aux résultats. »

Au lieu de simplement résumer ou récupérer des données, Voicebox traduit les requêtes des utilisateurs en formes programmatiques qu'un data scientist créerait. Si elle ne peut pas interpréter une requête, elle répond simplement : « Je ne sais pas comment répondre à votre question. »

Transparence et Traçabilité

Voicebox fournit également aux utilisateurs une piste numérique, montrant la source des informations récupérées, avec des citations et des liens. Cette fonctionnalité renforce la vérification, permettant aux utilisateurs de faire confiance aux données en toute confiance. Comme le souligne Clark, « Notre plateforme assure la traçabilité et la provenance, permettant aux utilisateurs de valider les réponses et d'assurer l'intégrité des données. »

Tarification et Disponibilité

Stardog prévoit d'offrir la couche LLM Voicebox au prix de 39 $ par utilisateur et par mois, utilisable dans des environnements cloud et cloud privé virtuel sans nécessité de box Karaoke. Le prix de la box Karaoke dépend du nombre d'utilisateurs et des spécifications matérielles, avec des options de location disponibles pour 3 à 5 ans.

Pour les secteurs réglementés cherchant à tirer parti de l’IA générative tout en restant conformes, le Karaoke de Stardog constitue une solution efficace. Alors que les entreprises intègrent de plus en plus d'outils IA dans leurs opérations, Stardog est bien positionnée pour diriger le déploiement sécurisé des applications IA génératives sur site.