AI芯片制造商SambaNova Systems宣布了其Samba-CoE v0.2大型语言模型(LLM)的重要里程碑。该模型每秒处理330个标记,表现优于包括Databricks新推出的DBRX、MistralAI的Mixtral-8x7B及Elon Musk的xAI Grok-1等知名竞争对手。
SambaNova v0.2的独特之处在于其高效性。该模型在不妥协准确性的前提下以高速度运作,仅需8个插槽,而其他模型则需要576个插槽,且速率较低。在我们的测试中,该LLM迅速生成了425字的关于银河系的全面回答,仅需一秒钟内就产出了330.42个标记。有关量子计算的问题同样获得了迅速回应,平均速率为332.56个标记每秒。
效率的进步
SambaNova通过采用更少插槽而保持高位数的策略,展示了计算效率的重大突破。公司还透露即将与LeptonAI合作推出Samba-CoE v0.3,表明其持续创新的决心。
这些进展基于来自Samba-1和Sambaverse的开源模型,利用独特的集成和模型融合方法。这种新方法不仅支持当前版本,还为未来的发展指明了可扩展的路径。
与其它模型,比如GoogleAI的Gemma-7B、MistralAI的Mixtral-8x7B、Meta的Llama2-70B、阿里巴巴的Qwen-72B、TIIuae的Falcon-180B、BigScience的BLOOM-176B相比,Samba-CoE v0.2在AI领域中展现了明显的竞争优势。
此消息必将在AI和机器学习社区引发热议,激发关于效率、性能和AI模型未来演化的讨论。
SambaNova的背景
SambaNova成立于2017年,创始人包括Kunle Olukotun、Rodrigo Liang和Christopher Ré,最初专注于定制AI硬件芯片。随后,公司使命扩展至涵盖多样化产品,包括机器学习服务和SambaNova Suite——一项于2023年初推出的全面企业AI培训、开发和部署平台。今年早些时候,公司推出了Samba-1,这是一种基于50个小型模型通过“专家组合”方法开发的1万亿参数AI模型。
SambaNova从硬件专注型初创企业向全方位AI创新者的转型,体现了创始人致力于使AI技术规模化和可及性的承诺。公司已筹集到6.76亿美元的D轮融资,估值超过50亿美元,成为与Nvidia等行业巨头强劲竞争的对手。如今,SambaNova不仅与像Groq这样的专注于AI芯片的初创企业竞争,亦与Nvidia等老牌企业一起角逐市场。