马斯克的Grok AI正式发布为开源软件

亿万富翁企业家埃隆·马斯克的初创公司xAI兑现承诺,发布了其首个大型语言模型(LLM)Grok,并将其开源。此公告在马斯克本周所承诺的时间内发布,使企业家、程序员、公司及个人能够访问Grok的权重—即其人工“神经元”之间连接的强度—以及其他相关文档。这意味着用户可以将Grok用于多种用途,包括商业应用。

“我们发布了Grok-1的基础模型权重和网络架构,”公司在博客中介绍道。“Grok-1是一个拥有3140亿参数的混合专家模型,由xAI从头开始训练。”技术爱好者可以通过Grok的GitHub页面或通过种子链接下载其代码,Hugging Face提供了快速下载选项。

Grok开源的意义

在机器学习中,参数指的是决定模型决策的权重和偏差。通常,参数越多,模型越复杂且能力越强。Grok拥有3140亿参数,远超过开源竞争对手,如Meta的Llama 2(700亿)和Mistral 8x7B(120亿)。

Grok根据Apache许可证2.0发布,允许进行商业使用、修改和分发,但不得进行商标注册。用户需包含原始许可证和版权声明,并在进行修改时文档化。

Grok于2023年10月使用基于JAX和Rust的自定义训练框架构建,采用了前沿神经网络设计。其每个标记使用25%的权重,从而提高了效率和效果。

Grok最初在2023年11月作为专有模型推出,之前仅通过马斯克的社交网络X(前Twitter)提供,需订阅每月16美元或每年168美元的X Premium+服务。

限制与持续获取

需要注意的是,Grok的发布并未包括其全部训练数据集。尽管这一限制并未妨碍模型的使用(因为其已完成训练),但用户无法分析其学习来源,这些来源可能包括用户在X上的文本帖子。xAI博客模糊地指出,该模型是“在大量文本数据上训练,而未针对任何特定任务进行微调。”

此外,Grok无法访问X上的实时信息,这一点是马斯克之前所称的独特卖点。用户若需实时更新,仍需订阅X Premium+服务。

在人工智能领域的战略定位

Grok旨在直接与OpenAI的ChatGPT竞争,后者由马斯克共同创立,并于2018年与其拉开了距离。Grok这个名称源于俚语“理解”的意思,向道格拉斯·亚当斯的讽刺科幻系列《银河系漫游指南》致敬。

马斯克将Grok描述为比ChatGPT更幽默、更无审查的选择,吸引那些关注人工智能审查的用户。这一定位在谷歌的Gemini AI因错误图像生成和争议性意识形态观点而遭受批评之际尤为相关。

Grok的开源还进一步加强了马斯克在与OpenAI进行的诉讼中的立场,他指控该组织偏离了其原本的非营利使命。OpenAI则通过发布邮件回应了马斯克的主张,指出他曾支持其转向营利科技。

X上的人工智能社区对Grok的发布反应热烈,关于其在前馈层中使用GeGLU及其标准化技术(如引人注目的“三明治”规范)的技术讨论不断涌现。

对人工智能行业的影响

随着Grok逐渐获得关注,可能会对其他大型语言模型提供商,特别是开源竞争者施加压力,要求它们展示其产品如何超越Grok的能力。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles