Kong 揭示企業AI網關以管理與擴展生成式AI解決方案

Kong Inc.,雲端API技術的領導者,推出了Kong AI Gateway,這是一款針對生成式AI工作負載而設計的原生AI API閘道,旨在管理和保護各種雲端環境中的生成式AI應用。自二月測試版發布以來,該產品迅速獲得廣泛關注,因為越來越多的組織希望將生成式AI進行實際應用。

Kong AI Gateway提供了一整套針對AI量身定制的基礎設施功能,包括對多個大型語言模型(LLMs)的支持、語意緩存、語意路由、語意防火牆和模型生命周期管理。它與Kong現有的API平台無縫整合,使企業能夠將AI與傳統API一同管理。

Kong的CTO兼聯合創始人Marco Palladino表示:“各組織和開發者正在創造創新的生成式AI用例以提升用戶和客戶體驗。然而,將這項尖端技術擴展至生產環境需要穩健的基礎設施。”他強調,Kong AI Gateway是目前最先進的AI基礎設施技術之一,充分發揮了Kong既有的閘道功能,並提供廣泛的AI專屬功能。他將這一演變比擬於API的早期發展階段,當時合適的基礎設施使開發者得以推廣。

作為中央樞紐,Kong AI Gateway提供統一的API介面,以管理和保護跨應用的各種AI技術。其廣泛的功能涵蓋治理、可觀察性和安全性,幫助企業有效部署和擴展生成式AI計畫。

Kong AI Gateway的一大優勢在於其對AI流量的檢查能力,並能創建統一的API以接入多個AI服務提供商。Palladino指出:“與其他將LLM API視為標準API的API管理平台不同,Kong採用更高階的方法。”

該閘道提供強大的功能,如提示安全、合規性、治理、模板和AI提示的生命周期管理。此外,還提供“L7 AI可觀察性指標”,深入洞察服務提供商的表現、令牌使用量和成本,Palladino指出,這是競爭對手所缺乏的細節。

Kong的統一控制平面Kong Konnect使企業能夠將微調的AI模型與傳統API一起變現。Palladino解釋道:“API變現的下一個前沿是模型本身。用專有的企業智能來微調模型有著重要價值。”

此次發布正值生成式AI關注度激增之際,特別是在OpenAI的ChatGPT成功之後。然而,許多企業在有效部署和治理這項技術上面臨挑戰。Kong旨在簡化這一流程,通過其專門的AI閘道實現。

Palladino提到:“每個企業都渴望複製我們所創造的成就,”並指出,需求的激增是推動產品迅速上市的催化劑。“即使是測試版,我們已經有企業客戶在生產環境中使用此功能。”

Kong最初成立於2009年,名為Mashape,並於2017年更名為Kong,該公司已籌集超過1.7億美元的風險投資,並為超過500家全球組織支持數萬億的API交易。憑藉對AI原生基礎設施的戰略重視,Kong在推動企業生成式AI應用的下一波熱潮方面具有強勁潛力。

Palladino總結道:“為了在規模上釋放生成式AI,部署適當的AI基礎設施至關重要。Kong AI Gateway正是這一解決方案。”

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles