变压器在生成型人工智能（AI）领域中扮演着重要角色，但并不是模型开发的唯一方法。AI21 今天推出了其 Jamba 模型的新版本，结合了变压器与结构状态空间（SSM）模型方法。Jamba 1.5 的迷你和大型版本在 3 月发布的 Jamba 1.0 的基础上增强了创新。Jamba 通过一种称为 Mamba 的 SSM 方法，旨在结合变压器和 SSM 的优势。“Jamba”代表联合注意力和 Mamba 架构，承诺在性能和准确性上超越单一模型的能力。
AI21 产品副总裁 Or Dagan 表示：“我们收到了来自社区的极佳反馈；这是基于 Mamba 的第一个也是最大规模的生产模型之一。这个新架构引发了关于大语言模型（LLM）架构未来和变压器作用的讨论。”
Jamba 1.5 系列引入了多项增强功能，包括函数调用、JSON 模式、结构化文档对象和引用模式。这些新功能使模型成为开发自主 AI 系统的理想选择。两个版本都具有 256K 的大上下文窗口，并采用混合专家（MoE）架构，其中 Jamba 1.5 迷你版提供 520 亿个总参数（120 亿个活动参数），而 Jamba 1.5 大型版则展示了 3980 亿个总参数（940 亿个活动参数）。
这些模型在开放许可下提供，AI21 也提供商业支持和服务。公司已与 AWS、Google Cloud、Microsoft Azure、Snowflake、Databricks 和 Nvidia 建立了合作伙伴关系。
Jamba 1.5 新特性：加速自主 AI
Jamba 1.5 迷你和大型模型具有多项新功能，以满足 AI 开发者不断变化的需求：
- JSON 模式：高效处理结构化数据
- 引用功能：增强责任性
- 文档 API：改进上下文管理
- 函数调用：提升交互能力
Dagan 表示，这些增强功能对推动自主 AI 系统的发展至关重要。JSON（JavaScript 对象表示法）被广泛用于创建应用程序工作流，其纳入使复杂 AI 结构中的输入/输出关系更加清晰，超越了基本的语言模型使用。引用功能与新文档 API 的整合密切配合。“我们教会模型在生成过程中将相关内容归于提供的文档，”Dagan 解释道。
区分引用模式与检索增强生成（RAG）
需要区分引用模式和检索增强生成（RAG），尽管两者在基础上都旨在将 AI 输出与可靠数据结合。Dagan 指出，Jamba 1.5 的引用模式与文档 API 的整合实现了更全面的方法，优于传统的 RAG。在标准的 RAG 设置中，开发者将语言模型连接到向量数据库，要求模型有效地将检索到的数据融入其输出中。
相比之下，Jamba 1.5 的引用模式本质上与模型自身交织在一起，使其能够检索、整合并明确引用其输出中所用信息的来源。此功能相较于传统 LLM 工作流程，提高了透明度和可追溯性，后者往往不够清晰。
AI21 也支持 RAG 解决方案，并提供包括文档检索和索引的端到端管理服务。展望未来，Dagan 强调 AI21 致力于根据客户需求不断发展其模型，并持续关注自主 AI 能力的提升。“我们认识到在自主 AI 系统中进行创新的必要性，特别是在规划和执行方面，”他说。
排行榜
