Grok-2 提升版:开发者三天内重构代码,性能全面提升

埃隆·马斯克的xAI最近推出了Grok-2大型语言模型(LLM)聊天机器人,现已通过每月8美元的订阅在社交网络X上提供。这次发行引起了广泛关注。

Grok-2的两个版本,包括速度更快但功能稍弱的Grok-2 mini,均显著提高了信息处理速度和响应时间。这次升级是在xAI开发者伊戈尔·巴布什金(Igor Babuschkin)、郑连敏(Lianmin Zheng)和赛义德·马莱基(Saeed Maleki)仅用三天时间内对推断代码进行了全面重写之后完成的。

巴布什金在X上表示:“Grok 2 mini的速度已经比昨天快了两倍。在过去的三天里,@lm_zheng和@MalekiSaeed从头开始用SGLang重写了我们的推断堆栈。这一改进使我们可以以合理的速度提供需要多主机推断的更大Grok 2模型。两个模型不仅速度更快,准确性也稍有提高。敬请期待更多速度上的提升!”

SGLang是一个高效的开源系统,用于执行复杂的语言模型程序,在这次重写中发挥了重要作用,吞吐量比现有系统提高了多达6.4倍。该系统由斯坦福大学、加州大学伯克利分校、德克萨斯农工大学和上海交通大学的研究人员开发,旨在通过前端语言与后端运行时的集成,简化语言模型应用的编程。SGLang支持多种模型,包括Llama、Mistral和LLaVA,并兼容开源权重和基于API的模型,如OpenAI的GPT-4。

Grok-2与Grok-2 Mini性能亮点

在最新的Lmsys聊天机器人竞技场排行榜更新中,Grok-2以1293的竞技分数排名第二,获得6686票。这使其成为全球第二强大的AI模型,仅次于OpenAI的ChatGPT-4o,与谷歌的Gemini-1.5 Pro并列。

近期更新后,Grok-2 mini以1268的竞技分数排名第五,获7266票,紧随GPT-4o mini和Claude 3.5 Sonnet之后。两个模型都体现了xAI在推动AI技术进步方面的努力。

Grok-2在数学任务上表现尤为突出,位列第一,并在困难提示、编码和遵循指令等多个类别中保持强势地位,其表现超越了包括OpenAI的GPT-4o在内的其他领先模型,后者当前排名第四。

未来发展

巴布什金指出,Grok-2 mini相比于完整的Grok-2模型,主要优势在于其卓越的速度。他还提到正在进行的努力,以进一步提升Grok-2 mini的处理速度,使其成为更受欢迎的选择,尤其适合注重高性能和低计算资源的用户。

Grok-2和Grok-2 mini的加入引起了AI社区的广泛关注,展示了xAI对创新的承诺以及扩展AI技术能力的决心。随着持续的优化,Grok-2和Grok-2 mini有望在未来的AI进步中继续引领潮流,提供更快的速度和更高的准确性。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles