微软的Orca-Math人工智能与大型模型相比，性能提升十倍

Home AI News CN 微软的Orca-Math人工智能与大型模型相比，性能提升十倍

学生与STEM研究者们的兴奋消息！

如果你曾在数学上遇到困难——就像我小时候那样——或者你渴望提升自己的技能，微软为你带来了一个激动人心的消息。微软研究院的高级研究员及Orca AI项目的负责人阿林达姆·米特拉（Arindam Mitra）最近在社交媒体上宣布推出了Orca-Math。这一创新模型是法国初创企业Mistral的Mistral 7B的变种，专门设计用于高效解决数学应用题。值得注意的是，Orca-Math体积小巧，非常适合训练和部署。这一突破是微软Orca团队提升小规模大型语言模型（LLMs）能力的整体目标之一。

Orca-Math：性能与效率兼备

Orca-Math在解决复杂数学应用题方面表现出色，甚至超越了参数数量十倍的模型。米特拉分享了一张图表，展示了Orca-Math在GSM8K基准测试中的超越性能。该基准测试包含8500个多样的数学问题，旨在让优秀的中学生能够解决。令人瞩目的是，Orca-Math以70亿参数的规模，几乎可以与OpenAI的GPT-4和谷歌的Gemini Ultra等大型模型相媲美，同时远超MetaMath（700亿）和Llemma（340亿）等更大模型的性能。

Orca-Math的创建：协作的力量

那么，Orca团队是如何实现这一成就的呢？他们通过与学生和教师AI的合作，制定了一个包含20万个数学问题的新数据集，以纠正生成的答案。该数据集由来自开放数据集的36,217个数学问题构成，答案则由OpenAI的GPT-4提供。最终，Orca-Math的开发就是利用了Mistral 7B模型。

此外，Orca团队实施了一个“建议者与编辑者”代理系统，以生成更复杂的问题，进一步丰富了AI的训练集。根据他们在arXiv.org上发表的研究，迭代问题增强过程显著提升了学习期间的准确率，推动了更具挑战性的问题的开发。

机器生成的合成数据已被证明对提升LLM的能力大有裨益，有效应对模型停滞的问题。Orca团队应用了“卡尼曼-特沃斯基优化”（KTO）方法，专注于评估输出的可取性，而非复杂的偏好标准。结合传统的监督微调，这一方法进一步提升了Orca-Math的性能。

开放资源：20万个数学问题助力创新

Orca团队慷慨地在Hugging Face上以MIT许可证公开了他们生成的20万个数学问题的数据集。这为初创企业和公司提供了探索、创新的机会，甚至可以将该数据集用于商业目的。

自2023年6月发布首个Orca 13B以来（当时利用GPT-4作为教学模型）和2023年11月的Orca 2，Orca系列不断扩展和演进，持续推出更智能、更紧凑的版本。

随着这些进展的实现，微软将彻底改变数学教育和AI驱动学习工具的格局。

为何《为更好的未来构建人工智能》的公开信未能达目的

Metaplane 获得1300万美元投资，利用人工智能提升数据异常检测能力

Most people like

DataCamp

6.5M

以您自己的节奏在线学习数据科学与人工智能，提升技能，迈向职业新高峰。

数据科学 AI课程

ChatBotKit

37.4K

ChatBotKit是一个强大的平台，旨在简化用户友好聊天机器人的构建和部署过程。通过直观的界面和灵活的功能，ChatBotKit使用户能够轻松创建互动工具，提升客户体验并增强业务效率。

聊天 AI聊天机器人

AlphaResearch

19.3K

AlphaResearch是一个利用人工智能的创新平台，专为投资者设计，使其能够高效搜索公司文件并获取深度洞察。通过使用先进的技术，AlphaResearch帮助用户更好地理解市场动态和公司表现。

公司搜索 AI搜索引擎

AIundetect

313.9K

如何通过不可检测的AI写作突破AI检测器的限制

AI反检测 AI 内容检测器

Find AI tools in YBX