Les Défis de l'IA dans la Recherche Juridique : Une Étude sur les Hallucinations dans les Outils Juridiques AI
Les modèles de langage avancés (LLMs) sont de plus en plus utilisés pour des tâches nécessitant un traitement d'informations étendu, plusieurs entreprises développant des outils spécialisés exploitant les LLMs et les systèmes de récupération d'informations pour la recherche juridique. Cependant, une récente étude menée par des chercheurs de l'Université de Stanford révèle que, malgré les affirmations des fournisseurs, ces outils présentent encore un taux considérable d'hallucinations — des réponses qui sont factuellement incorrectes.
Aperçu de l'Étude
Cette recherche novatrice est la première "évaluation empirique préenregistrée des outils de recherche juridique alimentés par l'IA", comparant les offres des principaux fournisseurs de recherche juridique à GPT-4 d’OpenAI à travers plus de 200 requêtes juridiques soigneusement élaborées. Bien que le taux d'hallucinations ait été réduit par rapport aux chatbots polyvalents, les outils juridiques AI continuent d'halluciner dans 17 à 33 % des cas, ce qui souligne une prévalence préoccupante.
Comprendre la Génération Augmentée par Récupération dans les Contextes Juridiques
De nombreux outils juridiques AI utilisent des techniques de génération augmentée par récupération (RAG) pour atténuer les hallucinations. Contrairement aux LLMs standard, les systèmes RAG récupèrent des documents pertinents à partir d'une base de connaissances et les contextualisent pour les réponses du modèle. Bien que RAG représente une référence en matière de réduction des hallucinations dans divers domaines, les requêtes juridiques manquent souvent de réponses directes, compliquant la récupération d'informations.
Les chercheurs soulignent que déterminer quoi récupérer peut poser des problèmes, surtout pour des requêtes nouvelles ou juridiquement ambiguës. Ils définissent les hallucinations comme des réponses incorrectes ou mal fondées, qu'elles soient factuellement inexactes ou contextuellement hors sujet. De plus, la pertinence des documents en droit dépasse la simple similarité textuelle, ce qui signifie qu'extraire des documents apparemment similaires mais non pertinents pourrait nuire à l'efficacité du système.
Évaluation des Outils AI pour la Recherche Juridique
Les chercheurs ont conçu une variété diversifiée de requêtes juridiques reflétant des scénarios de recherche réels, testant trois outils de recherche juridique alimentés par l'IA : Lexis+ AI de LexisNexis, Westlaw AI-Assisted Research et Ask Practical Law AI de Thomson Reuters. Bien que ces outils propriétaires utilisent RAG, l'étude a révélé que leur performance n'était pas sans défauts, affichant encore un nombre significatif d'hallucinations.
L'étude a mis en évidence les difficultés rencontrées par ces systèmes dans des tâches fondamentales de compréhension juridique, soulevant des préoccupations concernant le caractère fermé des outils juridiques AI, qui limite la transparence pour les professionnels du droit.
Avancées et Limitations de l'IA dans la Recherche Juridique
Malgré leurs limitations, la recherche juridique assistée par l'IA présente une valeur par rapport aux méthodes de recherche par mots-clés traditionnelles, surtout lorsqu'elle est utilisée comme point de départ plutôt que comme autorité ultime. Selon le co-auteur Daniel E. Ho, RAG réduit les hallucinations juridiques par rapport à l'IA générale, mais des erreurs peuvent encore survenir en raison d'une récupération de documents inappropriée, soulignant que la récupération juridique reste particulièrement complexe.
L'Importance de la Transparence
Ho a souligné le besoin urgent de transparence et de normalisation dans l'IA juridique. Contrairement à la recherche IA générale, le secteur de la technologie juridique a maintenu une approche fermée, fournissant peu d'informations techniques ou de preuves de performance. Ce manque de transparence pose des risques pour les avocats qui dépendent de ces outils.
En réponse à l'étude, Mike Dahn, responsable de la gestion des produits Westlaw, a souligné l'engagement de l'entreprise envers des tests approfondis et la complexité des questions juridiques, suggérant que les résultats de la recherche pourraient refléter des questions rarement rencontrées dans la recherche assistée par IA. En revanche, LexisNexis a reconnu que bien qu'aucun outil AI ne puisse garantir la perfection, son objectif est d'améliorer plutôt que de remplacer le jugement des avocats. Jeff Pfeifer, directeur des produits chez LexisNexis, a indiqué que les critères utilisés par les chercheurs pourraient ne pas refléter adéquatement les taux d'hallucination et a évoqué leurs améliorations en cours.
À l’avenir, LexisNexis et l'Université de Stanford sont en discussions pour établir des benchmarks et des cadres de reporting de performance dans l'application de l'IA à la recherche juridique, visant des améliorations qui répondent mieux aux besoins des professionnels du droit et réduisent le taux d'hallucinations.
En conclusion, bien que l'IA dans la recherche juridique montre un potentiel prometteur, les défis liés aux hallucinations et le besoin de transparence restent des enjeux critiques que l'industrie doit résoudre.
Classement
