艾伦人工智能研究院(AI2)是由已故微软联合创始人保罗·艾伦于2014年创立的非营利组织,近日推出了 OLMa,这是一个被称为“真正开源”的大型语言模型(LLM),旨在成为限制性封闭模型的“先进替代品”。这一举措标志着人工智能开发领域的重大转变。
与其他仅共享代码和权重的模型不同,OLMo 提供了全面的资源,包括训练代码、训练数据及相关工具包和评估工具。OLMo 的所有组件(包括代码、权重和中间检查点)都在开放源代码倡议批准的许可证下发布,遵循 Apache 2.0 许可证。
此时,开放源代码人工智能迅速发展,正在努力赶上像 OpenAI 的 GPT-4 和 Anthropic 的 Claude 等专有模型。例如,位于巴黎的初创公司 Mistral 的首席执行官最近确认了一种新开放源代码 AI 模型即将实现接近 GPT-4 的性能。此外,Meta 还推出了增强版代码生成模型 Code Llama 70B,Llama LLM 的新版本也备受期待。
然而,开放源代码人工智能领域也面临一些研究人员、监管机构和政策制定者的批评。IEEE Spectrum 一篇颇具争议的评论文章称“开放源代码人工智能具有独特的危险性”。
OLMo 框架提倡“完全开放”的方法,全面提供预训练数据、训练代码、模型权重及评估流程。这包括推理代码、训练指标、训练日志和一个开发评估套件,其中包含每个模型在 Catwalk 项目中训练过程中跟踪的超过500个检查点。
AI2 的研究人员计划通过引入多种模型规模、模态、数据集和能力,持续改进 OLMo。项目负责人、AI2 自然语言处理研究高级主任汉娜·哈吉希尔齐表示:“许多现有语言模型缺乏透明性。研究人员无法在没有训练数据的情况下充分理解模型的运作。我们的框架使研究人员能够科学地研究 LLM,为开发安全可信的 AI 是至关重要的。”
AI2 的机器学习科学家内森·兰伯特强调,OLMo 代表了 LLM 的新范式。“OLMo 促进了机器学习研究和部署的新方法,推动整个过程中的科学发展。”他说。
开放源代码 AI 社区对 OLMo 的发布反应热烈。MosaicML 和 Databricks 的首席科学家乔纳森·弗兰克尔称其为“开放科学的巨步”。Hugging Face 的首席技术官也在社交媒体上表示,该模型正在“推动开源 AI 的边界”。
Meta 的首席科学家扬·勒昆在 AI2 的新闻稿中指出,“开放基础模型推动了生成 AI 创新,而充满活力的开放源代码社区是塑造 AI 未来的关键。”