今天，Snowflake推出了Arctic，这是一个专为复杂企业任务设计的大型语言模型（LLM），应用于SQL生成、代码创作和指令执行等领域。
被誉为“最开放的企业级LLM”，Arctic采用了专家混合（MoE）架构，能高效地达到企业工作负载的顶尖基准。其在世界知识、常识推理及数学能力等方面的表现，与Databricks、Meta和Mistral等标准模型相竞争。
Snowflake首席执行官Sridhar Ramaswamy表示：“这是Snowflake的一个重要时刻，我们的AI研发团队站在创新的前沿。通过以开放的方式提供行业领先的智能和效率，我们正在拓展开源AI的未来。Arctic将显著增强我们为客户提供可靠且高效的AI的能力。”
此次发布是Snowflake对抗Databricks的战略举措，后者在AI领域的进展也非常迅速。自从收购Neeva和Ramaswamy担任CEO以来，Snowflake在AI方面的聚焦明显加强。
Arctic：专为企业工作负载设计
随着现代企业的不断采用生成式AI，检索增强生成（RAG）聊天机器人、数据助手和代码助手等应用的开发迅速增加。目前市场上存在众多模型，但专门满足企业需求的模型则屈指可数，而Snowflake的Arctic正是满足这一需求的解决方案。
Ramaswamy在最近的一次简报中提到：“我们相信AI将促进端到端AI产品的发展。我们的愿景是创建一个API，让业务用户能够直接与数据互动，实现企业内的平等化。Arctic是实现这一愿景的重要一步。”
Arctic采用紧凑的MoE混合架构，将参数划分为128个专业专家子组。这些专家只处理其最擅长的输入令牌，在响应查询时，仅激活4800亿参数中的170亿。这种针对性的方式确保了高效性能并降低了计算资源的消耗。
性能与成本效益
基准测试显示，Arctic在多项测试中以65%的平均得分有效处理企业任务，这一表现接近于Llama 3 70B的70%，并仅次于Mixtral 8X22B的70%。在SQL生成的Spider基准测试中，Arctic得分79%，超过了Databricks的DBRX和Mixtral 8X7B，与Llama 3 70B及Mixtral 8X22B非常接近。对于编码任务，Arctic得分为64.3%，优于Databricks及小型Mixtral模型，但低于Llama 3 70B和Mixtral 8X22B。
值得注意的是，在指令跟随能力的IFEval基准测试中，Arctic获得了52.4%的得分，超越了大多数竞争对手，仅次于最新的Mixtral模型。
Snowflake强调，Arctic所实现的企业智能水平具有开创性的高效性，其训练计算预算不到200万美元，这一数字远低于Llama 3 70B所需的17倍计算资源。此外，Arctic仅激活17个参数，进一步提升了成本效益。
Apache 2.0许可证下的可用性
Snowflake通过其LLM应用开发服务Cortex以及多个模型目录（包括Hugging Face、Lamini、Microsoft Azure、Nvidia API目录、Perplexity和Together）使Arctic可供用户使用。用户可以在Hugging Face上下载Arctic的模型权重和代码，依据Apache 2.0许可证进行个人、商业或研究用途的自由使用。
为了支持模型发布，Snowflake还提供了一个数据配方，用于单GPU的高效微调，以及详细说明模型设计和训练过程的研究手册。
Snowflake的AI负责人Baris Gultekin在新闻发布会上表示：“这本手册旨在加速对世界级MoE模型的学习曲线，提供高层次的见解和详细的技术规范，帮助用户构建像Arctic这样的高效且具有成本效益的LLM。”
排行榜
