谷歌研究：语言模型为何难以自我修正推理能力

Home AI News CN 谷歌研究：语言模型为何难以自我修正推理能力

大型语言模型（LLM）在本质上依赖于用于训练的数据质量和范围。研究人员长期以来一直在寻找有效的方法，以使这些模型在生成输出时自我纠正错误。早期的尝试，如麻省理工学院开发的多智能体方法，在这方面已经展现了鼓舞人心的前景。然而，谷歌DeepMind最近的研究发现，当LLM试图独立自我纠正时，反而可能导致性能下降。

在题为《大型语言模型尚无法自我纠正推理》的论文中，谷歌DeepMind的研究团队进行了广泛的实验，以阐明LLM自我纠正能力的局限性。分析结果揭示了一个重大挑战：当这些模型仅依靠内部判断来纠正错误，而没有外部指导时，它们往往会出现失误。这与早期研究的结论形成鲜明对比，后者认为在有“神谕”（即预设的正确标签）指导的情况下，内在自我纠正是有效的。缺乏这些神谕导致模型的准确性没有得到提升。

研究团队指出，LLMs必须具备自我纠正的能力，尤其是在许多现实应用中外部反馈“不可用”的情况下。

自我纠正的挑战

“幻觉”是LLM生成的错误输出之一，代表了这些模型面临的一项挑战。尽管没有任何系统能够完全避免这种不准确性，但仍然存在减轻措施，例如Gorilla提出的AST树方法，以及麻省理工学院研究人员正在探索的多智能体社会方法。

设想一个场景，一个基于LLM的客户服务聊天机器人意识到自己提供了错误答案，并能够自主纠正这一错误。人工智能研究界日益关注将这一场景变为现实。谷歌研究人员对此目标进行思考，但指出，许多自我纠正的改进很可能源于设计不佳的初始提示被良好反馈所掩盖。他们表示，“在这种情况下，将反馈整合到初始指令中或优化初始提示，可能会产生更好的结果并降低成本。”

然而，这种调整并不能完全实现LLM完全自主自我纠正的目标。例如，提示模型“回顾你的前一个答案并识别错误”可能会导致错误结果，即使最初的回答是准确的。

探索输出的一致性

该研究涉及多个模型，包括OpenAI的ChatGPT，进行基准测试，任务是生成代码。后续的基于代理的系统对这些响应进行错误批评，以促进自我纠正。研究过程显示，尽管没有单个AI模型能够一致地产生相同的输出，但多个LLM可以共同达成一致的响应。

研究强调了自我一致性的概念，认为观察到的改进不是源于自我纠正，而是源于模型输出的一致性。关键在于投票机制是基于模型驱动的见解还是简单的响应计数。因此，将某种行为归类为自我纠正时，必须排除因生成多个输出而导致的选择效应。

通向有效自我纠正的道路

一个问题仍然存在：何时LLM的真正自我纠正将变得可行？谷歌DeepMind认为，自我纠正能力在需要更安全的响应生成的应用中可能特别有利。研究指出，采用真实标签的模型，如Claude的“宪法AI”系统，可以帮助LLM在推理过程中避免错误响应。

目前，LLM缺乏在没有外部输入的情况下独立自我纠正其推理的能力。研究人员表示，认为这些模型最终会发展出自主自我纠正的能力过于乐观。相反，他们呼吁改进当前模型，为最终的自我纠正做更好的准备。

为了推动这一重要领域的发展，他们呼吁研究人员以批判的眼光看待自我纠正，认识其潜力的同时理解其局限性。这种平衡的方法将使LLM更好地定位于提高准确性和可靠性，从而推动其在各类应用中的演进，以成为精确且可靠的工具。

生成式人工智能赚钱的挑战：了解障碍与应对策略

美国收紧对中国的人工智能芯片出口限制：新措施加强技术转移管控

Most people like

SubtitleBee

57.7K

在几分钟内，您可以轻松为您的在线视频添加精确的字幕和配音。

视频字幕字幕或标题

凸凹

301.7K

TypeScript全栈平台是一个强大的工具，专门用于构建高性能的响应式应用程序。无论是前端还是后端开发，这个平台都能提供优秀的支持和灵活性，让开发者能够轻松创建现代化的应用。

TypeScript AI产品描述生成器

Woebot Health

67.2K

Woebot是一个人工智能驱动的心理健康助手，致力于为个人提供基于证据的解决方案，帮助改善心理健康和情绪管理。

心理健康 AI聊天机器人

答案溢出

255.8K

将Discord频道索引到Google以便于快速搜索和访问。

Discord AI搜索引擎

Find AI tools in YBX