Tenyx AI突破:开源Llama 3模型超越GPT-4性能

在独家采访中,AI初创企业Tenyx的创始人兼首席执行官伊塔马尔·阿雷尔(Itamar Arel)揭示了自然语言处理领域的显著进展。Tenyx对Meta的开源Llama-3语言模型进行了精细调优,现已更名为Tenyx-70B,特定领域的表现超越了OpenAI的GPT-4,成为首个超越专有标准的开源模型。

阿雷尔解释道:“我们开发了一项精调技术,可以将基础模型提升到其原始训练水平之上。我们对这种方法充满期待,这样可以利用大型模型中的冗余实现持续或渐进的学习。”

Tenyx的Llama-3模型在数学和编程能力上超过了GPT-4,并在所有能力上也超越了基础Llama-3模型。阿雷尔表示,这一成就标志着开源AI的新时代。

应对“灾难性遗忘”

Tenyx解决了“灾难性遗忘”问题,即模型在接触新数据时可能遗忘以前获得的知识。通过选择性更新模型参数的一小部分,Tenyx能够有效地训练新信息,而不影响现有技能。

阿雷尔指出:“如果只更改5%的模型参数,保持其余部分不变,就可以更积极地进行调整,而不会干扰其他功能。”这种方法使Tenyx能在仅用15小时内,借助100个GPU完成对700亿参数的Llama-3模型的精调。

承诺开源AI

Tenyx积极支持开源AI,发布经过精调的Tenyx-70B模型,遵循与原始Llama-3相同的许可证。阿雷尔表示:“我们相信开源模型。与社区分享进步促进了创新,造福每一个人。”

Tenyx的后训练优化技术应用广泛,包括开发专业聊天机器人和方便已部署模型的频繁更新,以确保其随时掌握最新信息。

重塑AI格局

Tenyx的突破具有重要意义,使企业和研究人员能够在无需支付高额专有解决方案费用的情况下访问先进的语言模型。这一进展还可能激发开源社区的进一步创新,其他人将基于Tenyx的成功进行开发。

“这对行业以及OpenAI这样的公司意味着什么?”阿雷尔思考道。随着AI领域竞争的加剧,Tenyx对开源模型的精调可能重新定义行业动态,以及企业如何看待自然语言处理。

尽管Tenyx优化后的Llama-3模型保留了一些基础模型的局限性,包括偶尔出现的不合逻辑回答,但其增强效果令人瞩目。阿雷尔报告称,该模型在数学和推理方面的准确率接近96%,而基础模型的准确率为85%。

随着Tenyx引领开源AI创新的新潮流,其突破对AI生态系统的长期影响尚待观察。但显然,Tenyx已证明开源模型可以与专有模型竞争甚至超越,为人工智能的更加开放与协作的未来铺平道路。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles