Meta最近推出了Llama 3.1,宣称其为“当今最强大的开源基础模型”。根据官方博客的介绍,此次发布标志着开源大模型发展的重要时刻,开启了人工智能的新纪元。
Llama系列一直处于开源大模型的前沿,Meta与OpenAI并肩代表着开源和专有技术的未来。在Llama 3.1的发布会上,Meta首席执行官马克·扎克伯格强调了开源在推动人工智能积极发展的关键作用,并宣布将推动开源AI成为行业标准。
Llama 3.1提供三种参数规模:8B、70B和405B,适应多种应用场景,包括多语言代理、复杂推理和编码辅助。该模型的上下文窗口扩展至128K,显著提升了原有的8K限制,并支持英语、德语、法语等多种语言。此外,还增强了工具能力,使其能够与搜索引擎及Wolfram Alpha进行数学推理集成,同时提供更宽松的许可模式,使用户能够利用Llama 3.1来优化其他大型语言模型(LLM)。
基准评估显示,405B参数的Llama 3.1与领先模型如GPT-4o、Claude 3.5 Sonnet和Gemini Ultra相抗衡,确立了其作为Meta迄今为止最强大的发布的地位。在正式发布之前,基准结果已在科技社区泄露,引发了广泛讨论,大家纷纷认可Llama 3.1的卓越能力。
值得一提的是,Meta还发布了92页的技术论文,详细说明了Llama 3.1的开发与训练过程,该模型使用超过150万亿个标记和16,000台NVIDIA H100 GPU进行训练。为确保训练的稳定性,Meta仅采用了Transformer模型架构,而避开了当前流行的专家混合模型(MoE)。
在Llama 3.1发布后,Meta迅速与多家公司建立合作,推动更广泛的生态系统。亚马逊、Databricks和NVIDIA等公司开始提供支持,以帮助开发者进行模型的微调和训练。在中国,腾讯云已将Llama 3.1整合入其TI平台,并进行相应的调优与测试。
扎克伯格谈到开源的重要性时表示,它使开发者能够控制自己的模型,确保数据安全并降低开发成本。对Meta而言,开源对维持技术竞争力至关重要。他强调,开放的生态系统将使更多人受益于AI技术,防止技术集中于少数几家企业。
随着科技巨头不断加大对人工智能领域的投资,Meta正战略性地将焦点从元宇宙转向AI,计划调整Reality Labs部门的预算,以支持更广泛的生成式AI团队。同样,谷歌母公司Alphabet在财务报告中强调了对AI投资的承诺,显示出主要公司在激烈的AI竞争中争相寻求创新与突破。
随着Llama 3.1的推出,开源AI技术的竞争势必加剧,各大科技公司将继续奋力引领该领域的发展。