Une étude récente de l’Institut de Technologie de Géorgie révèle que les grands modèles linguistiques (LLMs) montrent un biais notable en faveur d'entités et de concepts liés à la culture occidentale, même lorsqu'ils sont sollicités en arabe ou entraînés exclusivement sur des données arabes. Cette recherche, publiée sur arXiv, soulève des questions critiques sur l'équité culturelle et la pertinence des systèmes d'IA à mesure que leur utilisation s'étend à l'échelle mondiale.
Dans leur article intitulé « Avez-vous une bière après la prière ? Mesurer le biais culturel dans les grands modèles linguistiques », les chercheurs affirment : « Nous montrons que les modèles linguistiques multilingues et monolingues en arabe présentent un biais en faveur des entités associées à la culture occidentale. » Cela met en lumière les défis persistants auxquels les LLMs sont confrontés pour comprendre les nuances culturelles et s'adapter à des contextes spécifiques, malgré les avancées récentes de leurs capacités multilingues.
Les risques potentiels du biais culturel dans les LLMs
Les conclusions de l'étude suscitent des préoccupations quant aux implications des biais culturels pour les utilisateurs issus de cultures non occidentales utilisant des applications alimentées par des LLMs. Alan Ritter, l'un des auteurs, a déclaré : « Avec l'influence probable des LLMs sur de nombreuses applications dans les années à venir, il est complexe de prévoir tous les risques potentiels liés à ce biais culturel. » Il a souligné que les résultats des LLMs renforcent souvent les stéréotypes culturels, comme l'association des noms arabes masculins à la pauvreté et au traditionalisme. Par exemple, des adjectifs comme « pauvre » et « modeste » sont souvent associés à des personnages arabes fictifs, tandis que des termes comme « riche » et « unique » sont plus courants pour les noms occidentaux. De plus, les LLMs ont montré une tendance à produire des résultats plus faux négatifs dans l'analyse des sentiments pour les phrases contenant des entités arabes, indiquant une association défectueuse avec des sentiments négatifs.
Wei Xu, la chercheuse principale de l'étude, a souligné les conséquences potentielles, suggérant que ces biais nuisent non seulement aux utilisateurs de cultures non occidentales, mais compromettent également la précision des modèles et érodent la confiance des utilisateurs dans les technologies d'IA.
Présentation de CAMeL : Un référentiel pour évaluer les biais culturels
Pour évaluer efficacement les biais culturels, l’équipe de recherche a introduit CAMeL (Cultural Appropriateness Measure Set for LMs), un ensemble de données de référence comprenant plus de 20 000 entités culturellement pertinentes dans huit catégories, incluant les noms personnels, la nourriture, les vêtements et les sites religieux. Cet ensemble de données permet une analyse comparative des cultures arabes et occidentales.
« CAMeL sert à mesurer les biais culturels dans les LMs à travers des évaluations extrinsèques et intrinsèques », ont déclaré les chercheurs. Grâce à CAMeL, l’équipe a évalué les performances interculturelles de 12 modèles linguistiques, y compris le célèbre GPT-4, sur diverses tâches telles que la génération d'histoires et l’analyse des sentiments.
Ritter envisage CAMeL comme un outil permettant d’identifier rapidement les biais culturels au sein des LLMs, mettant en évidence les domaines à améliorer. Cependant, il a noté que CAMeL se concentre actuellement sur les biais culturels arabes et prévoit d’élargir son champ d’application à d'autres cultures à l'avenir.
L’avenir : Construire des systèmes d'IA culturellement conscients
Pour atténuer les biais à travers différentes cultures, Ritter recommande aux développeurs de LLM d’impliquer des étiqueteurs de données issus de divers horizons culturels lors du processus d’ajustement afin d’aligner efficacement les LLMs sur les préférences humaines. « Bien que complexe et coûteux, cette étape est cruciale pour garantir des bénéfices équitables des avancées des LLM », a-t-il déclaré.
Xu a identifié un contributeur majeur au biais culturel : la dépendance prédominante aux données de Wikipédia pour le pré-entraînement des LLMs. « Bien que Wikipédia soit une source mondiale, les concepts occidentaux reçoivent souvent plus d’attention en matière de traduction dans des langues non occidentales », a-t-elle expliqué. Elle a suggéré d'améliorer le mélange des données pendant le pré-entraînement et un meilleur alignement avec les sensibilités culturelles humaines.
Ritter souligne un autre défi : adapter les LLMs aux cultures ayant moins de représentation en ligne, où des données limitées peuvent entraver l'intégration des connaissances culturelles essentielles. Il plaide pour des approches innovantes visant à renforcer la compétence culturelle des LLMs dans ces scénarios, garantissant ainsi un service efficace aux utilisateurs.
Ces découvertes appellent à une collaboration entre chercheurs, développeurs d’IA et décideurs pour relever les défis culturels posés par les LLMs. « Nous considérons cela comme une occasion de recherche sur l’adaptation culturelle des LLMs tant dans l’entraînement que dans le déploiement », a observé Xu. Ce moment offre également une chance aux entreprises de réfléchir à des stratégies de localisation pour divers marchés.
En mettant l'accent sur l'équité culturelle et en développant des systèmes d'IA sensibles aux cultures, nous pouvons tirer parti de ces technologies pour faciliter la compréhension mondiale et favoriser des expériences numériques inclusives. Comme l'a exprimé Xu, « Nous sommes enthousiastes à l'idée de mener des efforts dans cette direction et anticipons que notre ensemble de données, ainsi que d'autres développés selon nos méthodes proposées, seront régulièrement utilisés pour évaluer et former des LLMs en faveur d'une plus grande équité culturelle. »
Classement
