變壓器在生成式人工智慧領域中扮演著重要角色,但並不是模型開發的唯一方法。AI21 今天推出了 Jamba 模型的新版本,結合了變壓器與結構狀態空間(SSM)模型技術。Jamba 1.5 的迷你版和大型版在三月 Jamba 1.0 所引入的創新基礎上得到了增強。利用一種名為 Mamba 的 SSM 方法,Jamba 旨在結合變壓器和 SSM 的優勢。「我們收到了社群的驚人反饋;這是基於 Mamba 的首個,也是目前唯一一款生產規模的模型之一。」AI21 的產品副總裁 Or Dagan 說。「這種新穎的架構引發了關於大型語言模型(LLM)架構未來和變壓器角色的討論。」
Jamba 1.5 系列引入了許多增強功能,包括函數調用、JSON 模式、結構化文檔對象和引用模式。這些新增功能使得這些模型成為開發機器人AI 系統的理想選擇。兩個版本均擁有256K 的大上下文窗口,並使用混合專家(MoE)架構,Jamba 1.5 迷你版擁有520億總參數(120億活躍參數),而 Jamba 1.5 大型版則擁有3980億總參數(940億活躍參數)。
這些模型在開放授權下提供,AI21 亦提供商業支援和服務。該公司與 AWS、Google Cloud、Microsoft Azure、Snowflake、Databricks 和 Nvidia 建立了合作夥伴關係。
Jamba 1.5 的新功能:加速機器人 AI
Jamba 1.5 迷你版和大型版模型具有幾項新功能,旨在滿足 AI 開發者不斷演變的需求:
- JSON 模式,實現高效的結構化數據處理
- 引用功能,提高責任感
- 文檔 API,改善上下文管理
- 函數調用功能
根據 Dagan 的說法,這些增強功能對於推進機器人 AI 系統的開發者至關重要。JSON(JavaScript 物件表示法)被廣泛用於創建應用程序工作流程,其引入有助於在複雜 AI 設置中促進更清晰的輸入/輸出關係,超越了基本的語言模型使用。引用功能與新的文檔 API 相互配合。「我們教模型在生成過程中將相關內容歸因於所提供的文件。」Dagan 解釋道。
分辨引用模式與檢索增強生成(RAG)
值得注意的是,引用模式與檢索增強生成(RAG)有所不同,儘管兩者都旨在將 AI 輸出基於可靠數據。Dagan 闡明,Jamba 1.5 的引用模式旨在與文檔 API 無縫整合,提供比傳統 RAG 更全面的解決方案。在標準的 RAG 設置中,開發者需要將語言模型連接到矢量數據庫,要求模型有效地將檢索到的數據納入輸出中。
相對而言,Jamba 1.5 的引用模式與模型本身緊密交織,使其能夠檢索、整合並明確引用所用信息的來源。這一功能提升了透明度和可追溯性,相較於傳統的 LLM 工作流程,模型的推理過程變得更為清晰。AI21 也支持 RAG 解決方案並提供包括文檔檢索和索引在內的端到端管理服務。
展望未來,Dagan 強調了 AI21 對不斷進化其模型以滿足客戶需求的承諾,並持續聚焦於推進機器人 AI 能力。「我們認識到在機器人 AI 系統中創新是必要的,尤其是在規劃和執行方面。」他表示。