Google élargit sa gamme de modèles d'IA pour relever des défis essentiels dans le domaine. Aujourd'hui, l'entreprise a présenté DataGemma, une suite de modèles open-source, ajustés par instruction, conçus pour réduire les hallucinations—lorsque les grands modèles de langage (LLMs) génèrent des réponses inexactes—en particulier dans les requêtes statistiques.
Disponibles sur Hugging Face à des fins de recherche et académiques, ces nouveaux modèles complètent la famille Gemma existante, en utilisant un vaste ensemble de données issues de la plateforme Data Commons de Google. Cette plateforme publique abrite un graphique de connaissances ouvert, comprenant plus de 240 milliards de points de données provenant d'organisations réputées dans divers secteurs tels que l'économie, la science et la santé.
Lutte contre les Hallucinations Factuales
Les LLMs ont révolutionné la technologie, alimentant des applications allant de la génération de code à l'assistance client, tout en optimisant l'utilisation des ressources pour les entreprises. Malgré leurs avancées, le problème des hallucinations—surtout liées aux données numériques et statistiques—persiste.
Les chercheurs de Google identifient plusieurs facteurs contribuant à ce phénomène, tels que la nature probabiliste des sorties de LLM et la couverture factuelle insuffisante des données d'entraînement. Les techniques de fondation traditionnelles ont rencontré des difficultés avec les requêtes statistiques en raison des schémas et formats variés dans les données publiques, nécessitant un contexte substantiel pour une interprétation précise.
Pour combler ces lacunes, les chercheurs ont intégré Data Commons, l'un des plus grands dépôts de données statistiques publiques normalisées, avec la famille de modèles linguistiques Gemma, créant ainsi DataGemma.
Approches Innovantes pour une Précision Améliorée
DataGemma utilise deux méthodes distinctes pour améliorer l'exactitude factuelle :
1. Generation Intercalée par Récupération (RIG) : Cette approche intègre l'exactitude factuelle en comparant la sortie originale du LLM avec des statistiques pertinentes provenant de Data Commons. Le LLM affiné génère des requêtes en langage naturel descriptives, qui sont converties en requêtes de données structurées pour extraire des réponses statistiquement pertinentes, y compris des citations.
2. Generation Augmentée par Récupération (RAG) : Cette méthode renforce les modèles en utilisant les questions statistiques originales pour extraire des variables pertinentes et formuler des requêtes en langage naturel dirigées vers Data Commons. Les données extraites, combinées à la question originale, sont ensuite utilisées pour solliciter un LLM à long contexte (ici, Gemini 1.5 Pro) pour générer des réponses précises.
Résultats Prometteurs lors des Tests
Lors de tests préliminaires impliquant 101 requêtes, les modèles DataGemma ajustés avec RIG ont amélioré l'exactitude factuelle de 5 à 17 % par rapport à la référence, atteignant environ 58 % de précision. Bien que RAG ait produit des résultats légèrement inférieurs, il a tout de même surpassé les modèles de référence.
DataGemma a réussi à répondre à 24-29 % des requêtes en utilisant des réponses statistiques de Data Commons, maintenant une précision de 99 % avec des valeurs numériques. Cependant, le modèle a rencontré des difficultés pour tirer des inferences précises à partir des chiffres entre 6 et 20 % du temps.
Les techniques RIG et RAG ont démontré leur efficacité pour améliorer l'exactitude des modèles pour les requêtes statistiques, en particulier dans les contextes de recherche et de prise de décision. RIG offre vitesse tandis que RAG fournit des données plus vastes mais dépend de la disponibilité de l'information et des capacités de gestion de long contexte.
Google vise à faire progresser la recherche sur ces méthodes grâce à la publication publique de DataGemma avec RIG et RAG.
L'entreprise a déclaré : "Notre recherche est en cours, et nous nous engageons à affiner ces méthodologies tout en développant ce travail, en assurant des tests rigoureux et en intégrant cette fonctionnalité améliorée dans les modèles Gemma et Gemini via une approche par étapes, à accès limité."
Classement
