Meta Galactica作者谈模特艰难的发布经历

Home AI News CN Meta Galactica作者谈模特艰难的发布经历

一年前，OpenAI推出ChatGPT之前，Meta发布了自己的大型语言模型——Galactica。该模型引发了广泛争议，并在推出仅数日后被撤回。现在，项目的原作者之一分享了这一动荡旅程的见解。

Ross Taylor是“有论文可查（Papers with Code）”平台的联合创始人，该平台负责存档机器学习研究论文，他在Galactica的开发中发挥了重要作用。Galactica是一个基于科学文献训练的模型，但演示版本出现了重大问题，生成了虚假的引用文献。

在X（前身为Twitter）上，Taylor坦诚反思团队所面临的挑战，并承认：“在发布演示时，我们面临人力资源不足，同时失去了对局势的判断，未进行足够的质量检查。”他提到，尽管他们预料到了可能的批评，但繁重的工作量模糊了他们的焦点。

尽管Galactica在性能上优于谷歌的PaLM和DeepMind的Chinchilla等模型，但演示版却掩盖了其真正的能力。Taylor解释说，演示的初衷是评估大型语言模型在科学查询中的表现，但他承认：“我们应该更加谨慎，”因为媒体通常会将模型测试到超出其设计范围。

有趣的是，他认为部分负面反馈源于用户的误解，许多人觉得Galactica是一个成熟的产品，尽管它仅是基础模型的演示。“我们在网站上展示了我们的愿景，这误导了大家的期望，”他说。他表示，虽然可以减轻争议，但关于Galactica生成“虚假科学”的恐慌被夸大了。

当时，包括马克斯·普朗克研究所的Michael Black在内的知名人士对此表示担忧，认为Galactica可能引发一波深度科学伪造的潮流。统一建模语言的核心开发者Grady Booch批评该模型为“仅仅是大规模的统计胡言乱语。”对此，Taylor回应称，许多批评意见“真的很愚蠢”，他坚信如果经过仔细规划，这个项目本可以更成功地推出。

回顾过去，Taylor坚定支持这一研究，甚至对发布演示的决定也持正面看法，将其视为一个重要领域的开放性行为。“这种前所未有的开放性在暴露其脆弱性时显得有些不当，”他表示。Meta对开源方法的承诺已推动了LLaMA及其更先进的版本Llama 2的开发，而Galactica的见解也为这些后续模型提供了借鉴。

最后，Taylor表示如果有机会，他愿意再次进行同样的项目，他说：“宁愿做了后悔，也不愿什么都不做。”他强调，尽管这段经历仍然令人痛苦，但从中获得的经验教训是无价的。

人工智能新闻速递：英国秋季预算拨款6.2亿美元推动AI计算发展

轻松开发网页应用：LangChain推出无代码AI工具Dream

Most people like

Vellum

157K

用于开发大型语言模型（LLM）应用程序的高效平台。

大型语言模型应用 AI开发工具

Noctie.ai

52.6K

国际象棋助教是一种创新的学习工具，旨在提升棋手的技能水平与战术理解。通过提供个性化的指导与分析，国际象棋助教能够帮助棋手识别并强化自身的弱点，让他们在比赛中表现得更为出色。不论是初学者还是经验丰富的棋手，国际象棋助教都能提供量身定制的练习方案，以促进全面技术的提升。选择国际象棋助教，开启你的棋艺之旅，成就更多胜利！

象棋导师游戏工具

Synthesis

492.6K

探索高效的教育人工智能，开启新时代的学习体验。教育AI技术正在迅速变革传统教育方式，使个性化学习和智能化教学成为可能。随着教育人工智能的不断进步，我们不仅可以提升教学效果，还能更好地满足每位学生的独特需求。本文将深入探讨教育AI的优势，以及它如何塑造未来的学习环境。

教育 AI教育助手

Neurons AI

71.1K

基于神经科学的广告效果优化工具，旨在提升广告精准度与投资回报率。通过深入分析消费者的大脑反应，该工具不仅帮助品牌理解受众心理，还优化广告投放策略，确保达到最佳效果。

神经科学 AI广告助手

Find AI tools in YBX