Kong发布企业AI网关,助力管理与扩展生成式AI解决方案

Kong Inc.,作为云API技术的领导者,推出了Kong AI Gateway,这是一款专为管理和保护生成式AI工作负载而设计的AI原生API网关,适用于各种云环境。自今年二月进入公测以来,Kong AI Gateway已受到广泛关注,组织也在积极推动生成式AI的商业化应用。

Kong AI Gateway提供了一整套为AI量身定制的基础设施功能,例如支持多种大型语言模型(LLM)、语义缓存、语义路由、语义防火墙和模型生命周期管理。它与Kong现有的API平台无缝集成,使企业能够同时管理AI和传统API。

Kong的首席技术官兼联合创始人Marco Palladino表示:“机构和开发者正在创建创新的生成式AI应用案例,以提升用户和客户体验。然而,要在生产环境中有效扩展这一前沿技术,需要强大的基础设施。”

Palladino认为,Kong AI Gateway代表了最先进的AI基础设施技术之一,充分利用了Kong丰富的网关功能,并提供全面的AI专用功能。他将这一发展比作API早期的趋势,当时只有合适的基础设施才能有效支持开发者。

Kong AI Gateway作为一个中央枢纽,提供了一个统一的API接口,以管理和保护应用中的各类AI技术。其强大的功能涵盖治理、可观测性和安全性,帮助企业有效部署和扩展生成式AI项目。

Kong AI Gateway的一大优势是其能够深入分析AI流量,并为多个AI服务提供商创建统一的API接口。Palladino指出:“与其他将LLM API视为标准API的管理平台不同,Kong采用了更高级的处理方式。”

该网关提供了强大的功能,包括对AI提示的安全性、合规性、治理、模板管理和生命周期管理。此外,它还提供“L7 AI可观测性指标”,让企业了解服务商性能、令牌使用情况和成本,这一详细程度是其他竞争者所缺乏的。

Kong的统一控制平面Kong Konnect使企业能够在传统API的基础上实现精细调优的AI模型的盈利化。Palladino解释说:“API盈利化的下一个前沿在于模型本身,结合公司独特的智能进行调优具有显著价值。”

此次推出正值市场对生成式AI的兴趣激增,尤其是在OpenAI的ChatGPT成功推出之后。然而,许多企业在有效部署和治理这一技术方面仍面临挑战。Kong旨在通过其专门的AI网关简化这一过程。

Palladino提到:“每个企业都渴望复制我们所创造的成功,”他指出巨大的需求是加速该产品正式推出的重要动因。“我们已经有企业客户在使用这一能力,即使在公测版本时。”

Kong成立于2009年,最初名为Mashape,2017年更名为Kong,至今已完成超过1.7亿美元的风险投资,并为500多家全球组织支持数万亿次API交易。凭借对AI原生基础设施的战略重视,Kong已具备推动企业环境中生成式AI应用的下一个浪潮的能力。

Palladino总结道:“要实现大规模的生成式AI应用,关键在于部署合适的AI基础设施。Kong AI Gateway正是这种解决方案。”

Most people like

Find AI tools in YBX