乔治亚理工学院的一项最新研究显示，大型语言模型（LLM）在处理与西方文化相关的实体和概念时表现出明显的偏见，即使在阿拉伯语环境中进行提示或仅使用阿拉伯数据进行训练。该研究发表在arXiv上，提出了一个重要问题：随着AI系统的全球应用，文化公平性和适用性如何保障。
研究者在标题为“祷告后喝啤酒？测量大型语言模型中的文化偏见”的论文中指出：“我们展示了多语种和阿拉伯单语语言模型对与西方文化相关实体的偏见。”这凸显了尽管LLM在多语言能力上取得了进展，但它们在理解文化细节和适应特定背景方面仍面临挑战。
LLM中的文化偏见的潜在危害
研究结果引发了人们对非西方背景用户使用LLM应用程序时可能面临的文化偏见的担忧。作者之一艾伦·里特（Alan Ritter）指出：“考虑到LLM未来将影响众多应用，预测这种文化偏见的所有潜在危害非常复杂。”他强调，当前LLM的输出往往加深了文化刻板印象，例如将阿拉伯男性名字与贫困和传统主义关联。比如，虚构阿拉伯角色经常被描述为“贫穷”和“谦虚”，而西方名字则更常使用“富有”和“独特”等词汇。此外，LLM在情感分析中对包含阿拉伯实体的句子倾向于产生更多误判，表明其与负面情感的关联存在缺陷。
首席研究员徐伟（Wei Xu）强调了这些偏见的潜在后果，指出它们不仅损害了非西方文化用户的体验，还影响了模型的准确性，侵蚀用户对AI技术的信任。
引入CAMeL：评估文化偏见的基准
为有效评估文化偏见，研究团队推出了CAMeL（文化适宜性测量集），这是一个包含超过20,000个来自八个类别的文化相关实体的基准数据集，包括人名、食物、服装和宗教场所。此数据集可以比较阿拉伯文化和西方文化的差异。
研究人员表示：“CAMeL是通过外部和内部评估来测量语言模型中的文化偏见的工具。”通过使用CAMeL，团队评估了包括知名的GPT-4在内的12个语言模型在故事生成和情感分析等多项任务中的跨文化表现。
里特希望CAMeL能帮助快速识别LLM中的文化偏见，突出开发者需要关注的领域。然而，他指出，目前CAMeL主要集中于阿拉伯文化偏见，未来计划扩展至其他文化。
向前迈进：构建文化意识AI系统
为降低不同文化间的偏见，里特建议LLM开发者在微调过程中重点招募来自多样文化背景的数据标注员，以有效调整LLM与人类偏好的对齐。他表示：“尽管这一过程复杂且成本高昂，但确保LLM进步带来公平利益至关重要。”
徐识别到文化偏见的一个重要来源是预训练LLM时主要依赖维基百科数据。她解释道：“虽然维基百科是全球性的，但西方概念通常在非西方语言翻译中受到更多关注。”她建议改善预训练时的数据混合以及与人类文化敏感度的更好对齐。
里特还强调了另一个挑战：将LLM适配于在线代表性较少的文化，有限的数据可能阻碍关键文化知识的整合。他提倡在这些情况下采用创新的方法，以提升LLM的文化能力，确保其有效服务于用户。
这些研究结果呼吁研究人员、AI开发者和政策制定者合作，共同应对LLM所带来的文化挑战。徐指出：“我们认为这是探讨LLM在训练和部署中进行文化适应的研究机会。”这也为公司在多个市场考虑本地化策略提供了契机。
通过优先考虑文化公平性并开发具有文化意识的AI系统，我们可以利用这些技术促进全球理解，营造更具包容性的数字体验。正如徐所说：“我们对此方向的开创性工作感到兴奋，并预计我们的数据集及其他根据我们提出的方法开发的数据集将被广泛应用于评估和训练LLM，实现更大的文化公平。”
排行榜
