AI21 CEO：变换器因错误传播问题不适合用于AI代理

Home AI News CN AI21 CEO：变换器因错误传播问题不适合用于AI代理

随着企业组织追求智能未来，AI模型架构面临重大挑战。AI21的首席执行官Ori Goshen强调，需要探索替代模型架构，以创建更高效的AI代理，因为当前主流的Transformer模型存在限制，阻碍了多代理生态系统的建立。

在最近的一次采访中，Goshen指出了Transformer架构的缺点：随着上下文处理长度的增加，计算强度也随之增强，导致性能下降和成本上升。“代理在每个步骤都需要对大型语言模型（LLMs）进行多次调用，这使得Transformer成为瓶颈，”他说。

AI21提倡更加灵活的模型架构，认为虽然Transformers可以是一个可行的选择，但不应成为默认选项。该公司的JAMBA架构（即联合注意力与Mamba的缩写）利用普林斯顿大学和卡内基梅隆大学研究人员开发的Mamba框架，以提高推理速度并扩展上下文能力。

Goshen解释说，基于Mamba的模型提高了内存性能，增强了代理的功能，尤其是与其他模型集成的代理。AI代理的快速崛起在很大程度上源于基于Transformer构建的LLMs的局限性。

“目前代理仍在开发中，没有广泛应用的主要原因是其可靠性。由于LLMs本质上是随机的，因此必须实施额外措施来确保所需的可靠性，”Goshen表示。

AI代理在今年的企业AI领域中已经成为一大趋势，多个公司推出了新的代理开发平台。例如，ServiceNow升级了其Now Assist AI平台，新增了AI代理库，而Salesforce推出了Agentforce。同时，Slack允许用户整合来自Salesforce、Cohere和Adobe等公司的代理。

Goshen认为，凭借正确的模型和架构组合，对AI代理的兴趣将不断上升。“目前的使用案例，如聊天机器人问答功能，主要类似于增强搜索。真正的智能在于能够从多个来源连接并获取各种信息，”他说。AI21正在积极开发围绕AI代理的产品，以满足这一需求。

随着Mamba架构的普及，Goshen依然在积极支持他，强调Transformers的成本和复杂性降低了其实际应用的可能性。与依赖固定注意力机制的Transformers不同，Mamba专注于优化内存使用和有效利用GPU处理能力。

Mamba的需求正在上升，其他开发者也陆续发布基于Mamba的模型，如Mistral的Codestral Mamba 7B和Falcon的Falcon Mamba 7B。然而，Transformers仍然在基础模型中占据主导地位，包括OpenAI的成功产品GPT。

最终，Goshen指出，企业更看重可靠性而非特定架构。然而，组织应对那些承诺提供广泛解决方案的诱人演示保持警惕。“我们正处于一个迷人的演示阶段，但仍在向一个可应用产品阶段过渡，”他警告说。“虽然企业AI在研究中具有重要价值，但尚未准备好为关键业务决策提供依据。”

PlayVS与Omnic合作，利用AI驱动反馈提升玩家体验

人工智能能否与人类数据科学家竞争？OpenAI新基准测试揭秘