为何人工智能自信过头：探讨AI的局限性与知识盲点

信任人工智能：AI 输出中的合理性重要性

每个月，超过5亿人依赖 Gemini 和 ChatGPT 获取信息，从煮意大利面到解决复杂的作业问题。然而，如果 AI 推荐用汽油煮意大利面，这让我们对其在其他领域（如避孕或代数）的可靠性产生了疑问。

在今年一月的世界经济论坛上，OpenAI CEO 山姆·奧特曼强调了 AI 输出透明性的必要性：“我无法读取你的思想，但我可以请你解释你的推理，并判断这是否合理。我相信我们的 AI 系统也能做到这一点。”

知识需要合理性

奥特曼希望通过建议大型语言模型（LLM）如 ChatGPT 能够为其输出提供清晰的解释，从而增强人们对它们的信任。没有有效的理由，信念不能被视为知识。那么，何时我们会对自己的了解感到合理？通常，当我们的信念得到可信证据、逻辑论证或可信来源的证实时，我们才会感到合理。

LLM 旨在成为可靠的信息来源。然而，如果缺少解释其推理的能力，我们就无法保证其主张符合我们的合理性标准。例如，如果你声称今天田纳西州的烟雾是由加拿大的野火引起的，我可能会接受这个说法。但如果你之前说过在论文答辩中蛇斗很常见，那么你的可信度就会受到损害。我会要求你就烟雾的原因进一步解释。

人工智能理解的局限性

如今的 AI 系统无法通过推理赢得我们的信任，因为它们缺乏这种能力。相反，LLM 通过海量的数据集进行训练，以检测和预测语言模式。当给定一个提示时，工具会基于这些模式生成响应，常常模仿知识渊博的人类语言。然而，这一过程并不能验证内容的准确性或合理性。如 Hicks、Humphries 和 Slater 在《ChatGPT 是胡扯》中所指出，LLM 生成的文本看似令人信服，却缺乏对真实的真正关注。

如果 AI 生成的内容并不等同于人类的知识，那它是什么？虽然将所有输出都归为“胡扯”可能不够准确，但许多 LLM 的回答确实是事实正确的，导致哲学家所称的 Gettier 案例。这种情况发生在真正的信念与对其合理性的缺乏理解并存时。

AI 输出的幻觉

举个例子，灵感来自于8世纪印度佛教哲学家达摩多罗：想象在炎热的天气里寻找水源。你看到看似水的东西，却发现那是海市蜃楼。然而，当你到达那个地方时，却在岩石下找到了真正的水。你能够声称你确实知道你所寻找的水是什么吗？

大多数人都会同意，这些旅客没有真正的知识；他们只是偶然找到了水，而并没有合理的依据去期待它的存在。

当我们声称从 LLM 中学到的内容是我们知道的时，我们就处于与达摩多罗的旅行者相似的境地。如果 LLM 得到了有效训练，其输出可能是正确的，就像在预想的位置发现水一样。然而，支撑这一主张的合理性存在于数据集中，但在生成输出时并没有发挥作用。

因此，奥特曼的保证可能会产生误导。如果你要求 LLM 为其输出提供合理性，它可能会生成一个看似合理但表面化的解释——正如 Hicks 等所描述的“Gettier 合理性”。这种模拟的合理性缺乏真实的基础。

误导性合理性的风险

目前，AI 系统常常误解或“幻觉”事实信息，从而导致不一致。随着合理性幻觉变得越来越令人信服，我们面临两种潜在结果：

1. 知情用户：那些意识到 AI 内在局限性的人将认识到 LLM 生成的陈述可能是误导性的。

2. 不知情用户：对 AI 输出的本质没有了解的人可能会被误导，生活在难以区分事实与虚构的状态中。

AI 输出中合理性的重要性

尽管 LLM 是强大的工具，它们生成的输出需要受到审视。用户，尤其是那些缺乏专业知识的人，会依赖 AI 获取关键知识——例如，青少年寻求代数帮助或安全性建议。为了确保 AI 输出的责任和信任性，我们必须理解每个主张背后的合理性。

幸运的是，有经验的人知道橄榄油比汽油更适合煮意大利面。但是，我们有没有盲目接受过多少来自 AI 的可能有害的现实“食谱”，而没有质疑其合理性呢？