Lutte contre la désinformation des chatbots : Google DeepMind et l'Université Stanford lancent un outil de vérification des faits alimenté par l'IA.

Le 31 mars, des rapports récents révèlent qu'en dépit des avancées technologiques des chatbots IA, un problème courant persiste : ces systèmes fournissent souvent des réponses factuellement incorrectes. Ce phénomène, appelé "hallucination", se produit lorsque l'IA génère des informations qui semblent crédibles mais qui sont en réalité fausses.

Pour relever ce défi, des chercheurs de Google DeepMind et de l'Université de Stanford ont développé un outil nommé Search-Enhanced Fact Evaluator (SAFE). Cet outil utilise de grands modèles de langage pour vérifier les réponses longues générées par les chatbots. Leurs résultats de recherche, le code expérimental et les ensembles de données associés sont désormais accessibles au public.

Le système SAFE vérifie l'exactitude et l'authenticité des réponses générées par l'IA grâce à un processus en quatre étapes : tout d'abord, il décompose la réponse en assertions individuelles à vérifier. Ensuite, il corrige ces assertions si nécessaire. Troisièmement, il compare les assertions aux résultats de recherche Google. Enfin, il évalue la pertinence de chaque fait par rapport à la requête originale.

Pour évaluer l'efficacité du système, les chercheurs ont créé un ensemble de données appelé LongFact, qui contient environ 16 000 faits, et ont testé SAFE sur 13 grands modèles de langage, y compris Claude, Gemini, GPT et PaLM-2. Les résultats ont montré qu'en analysant 100 faits controversés, SAFE a atteint un taux de précision de 76 % après une révision supplémentaire. De plus, le cadre démontre une efficacité économique significative, avec des coûts plus de 20 fois inférieurs à ceux de l'annotation manuelle. Cette avancée représente une étape cruciale pour renforcer la fiabilité des chatbots IA.