AI晶片製造商SambaNova Systems宣布其Samba-CoE v0.2大型語言模型(LLM)達成重要里程碑。此模型每秒可處理高達330個標記,優於顯著競爭對手,包括Databricks新推出的DBRX、MistralAI的Mixtral-8x7B及Elon Musk的xAI Grok-1。
這項成就的特點在於其效率。此模型以高速運行且不影響準確性,僅需8個插槽,相較於其他需要576個插槽且運行於較低比特率的替代品。測試中,此LLM能極快生成回應——僅用一秒便產生330.42個標記的425字答案,針對量子計算的問題也能以332.56個標記每秒的速度迅速回應。
效率提升
SambaNova選擇在保持高比特率的同時運用較少插槽的策略,代表了計算效率的一次重大突破。公司亦預告將與LeptonAI合作推出Samba-CoE v0.3,顯示其持續創新。
這些進展建立在Samba-1和Sambaverse的開源模型上,運用獨特的集成與模型合併技術。此方法不僅支持當前版本,也顯示未來發展的可擴展性。
與其他模型的比較,包括GoogleAI的Gemma-7B、MistralAI的Mixtral-8x7B、Meta的Llama2-70B、Alibaba Group的Qwen-72B、TIIuae的Falcon-180B和BigScience的BLOOM-176B,突顯出Samba-CoE v0.2在AI領域的競爭優勢。這項公告預計將引發AI和機器學習社群的興趣,促進有關效率、性能及AI模型未來演化的討論。
SambaNova背景
SambaNova成立於2017年,位於加州帕洛阿爾托,由Kunle Olukotun、Rodrigo Liang和Christopher Ré創辦,最初專注於定制AI硬體晶片。隨著使命的擴展,SambaNova現已涵蓋多種服務,包括機器學習和於2023年初推出的SambaNova Suite,這是一個全面的企業AI訓練、開發與部署平台。今年早些時候,該公司推出了Samba-1,這是一個由50個較小模型組成的1兆參數AI模型,採用「專家組合」的方法。
從以硬體為中心的初創公司轉型為全方位AI創新者,反映了創始人對於使AI技術可擴展和易於獲得的承諾。SambaNova正逐步確立自身作為Nvidia等行業巨頭的強勁競爭者,並在2021年成功募集了6.76億美元D輪融資,估值超過50億美元。如今,它除了與Groq等其他專注於AI晶片的初創公司競爭,還與Nvidia等既有巨頭對抗。