Galactica 深度解析：Meta 从在 ChatGPT 发布前两周推出的失败模型中获得的启示

Home AI News CN Galactica 深度解析：Meta 从在 ChatGPT 发布前两周推出的失败模型中获得的启示

Updated on 十一月 1 2024

一年前，在OpenAI推出ChatGPT的前两周，Meta发布了Galactica——一个针对科学领域的开源大型语言模型，经过了4800万篇科学论文的训练。Meta声称Galactica能够总结学术文献、解决数学问题、生成维基百科文章、编写科学代码以及注释分子和蛋白质。

然而，由于其输出结果的不准确和偶尔的冒犯言论，Galactica在2022年11月17日面世仅三天便遭遇公众强烈反对而被下架。这一现象被称为“幻觉”，批评者指出Galactica常常生成听起来合理但事实错误的回答，这让科学界震惊。

尽管有争议，Meta首席科学家Yann LeCun在社交媒体上为Galactica辩护，称“再也不能轻松地玩弄它了。快乐吗？”尽管如此，该模型并未达到变革性生成AI的预期。

两周后，ChatGPT正式推出。同一周，关于GPT-4的传言开始流传，令参加新奥尔良NeurIPS大会的AI研究人员充满希望。11月30日，OpenAI没有发布GPT-4，而是推出了ChatGPT，标志着AI领域的一个重要时刻。

ChatGPT也迅速暴露出幻觉问题，生成自信却误导的回答。OpenAI在其发布博客中承认了这一局限性，并称解决此问题“充满挑战”。尽管存在这些不足，ChatGPT在短短两个月内实现了爆发式增长，月活跃用户达到1亿，现每周活跃用户也突破1亿。

Galactica的遗产依然存在，Meta也认识到从中吸取了宝贵的教训。Meta AI研究副总裁Joelle Pineau表示：“我们学到了很多有价值的教训……我仍然接到很多人请求使用该模型的请求。”她澄清Galactica始终被视为一项研究项目，而非产品。“期望与现实之间的差距太大，”Pineau指出，该模型因专注于科学文献而幻觉率低于其他模型。

在遭遇抗议后，Meta撤回了Galactica的演示版，以防止误用，承认缺乏负责任的使用指南——这一实践在后续发布中得到了采纳。Pineau表示，如果重来一次，他们会更好地管理公众的期望。“Galactica的教训已经融入到我们下一代模型的开发中。”

这下一代模型包括Llama，Meta于2023年2月推出的一个大型语言模型，随后的Llama 2于7月发布，Code Llama则在8月推出。Llama成为首个重大的免费开源大型语言模型，在AI社区引发了持续的广泛讨论。

在2月24日上线Llama时，Meta表现得十分谨慎。LeCun强调：“Meta致力于开放研究，所有模型都按照GPL v3许可证对研究社区开放。”然而，研究者需要填写申请表才能获得Llama的访问权限，这是源于Galactica事件后的谨慎措施。LeCun解释道：“在Galactica事件后，人们指责我们威胁社会的基础。”

变革机器人技术：Tangram Vision的AI驱动3D传感器如何彻底改变计算机视觉

戴尔与Hugging Face合作简化大规模语言模型部署