콩, 기업을 위한 AI 게이트웨이 공개 - 생성적 AI 솔루션 관리 및 확장 가능성 제공

Kong Inc.는 클라우드 API 기술의 선두주자로, 모든 클라우드 환경에서 생성 AI 워크로드를 관리하고 안전하게 보호하기 위해 설계된 AI 네이티브 API 게이트웨이인 Kong AI Gateway를 출시했습니다. 2월에 베타 버전이 출시된 이후, 이 제품은 생성 AI의 운영화를 모색하는 기업들 사이에서 큰 관심을 받고 있습니다.

Kong AI Gateway는 여러 대형 언어 모델(LLM) 지원, 의미 기반 캐싱, 의미 기반 라우팅, 의미 기반 파이어월링, 모델 생애 주기 관리 등 AI에 맞춤화된 포괄적인 인프라 기능을 제공합니다. 기존의 Kong API 플랫폼과 원활하게 통합되어 기업이 전통적인 API와 함께 AI를 관리할 수 있도록 합니다.

Marco Palladino Kong의 CTO이자 공동 창립자는 “조직과 개발자들이 사용자 경험을 향상하기 위한 혁신적인 생성 AI 사례를 만들고 있지만, 이러한 첨단 기술을 생산 환경에서 확장하는 데에는 강력한 인프라가 필요하다”고 설명했습니다. Palladino는 Kong AI Gateway가 Kong의 기존 게이트웨이 기능을 활용하면서도 광범위한 AI 전용 기능을 제공하는 가장 진보된 AI 인프라 기술 중 하나라고 주장했습니다. 그는 이 진화를 적절한 인프라가 구축된 후 API의 초창기 시절과 비유했습니다.

Kong AI Gateway는 애플리케이션 전반에 걸쳐 다양한 AI 기술을 관리하고 보호하는 통합 API 인터페이스를 제공하는 중심 허브 역할을 합니다. 그 광범위한 기능은 거버넌스, 가시성 및 보안을 포함하여 기업이 생성 AI 이니셔티브를 효과적으로 배포하고 확장할 수 있도록 합니다.

Kong AI Gateway의 주요 장점 중 하나는 AI 트래픽을 조사하고 여러 AI 공급자에 접근하기 위한 통합 API를 생성하는 기능입니다. Palladino는 “다른 API 관리 플랫폼이 LLM API를 표준 API로 다루는 것과 달리, Kong은 접근 방식을 한 단계 높였습니다”고 언급했습니다.

이 게이트웨이는 AI 프롬프트와 관련된 보안, 규정 준수, 거버넌스, 템플릿 및 생애 주기 관리를 포함한 강력한 기능을 제공합니다. 또한 “L7 AI 가시성 지표”를 제공하여 공급자 성능, 토큰 사용량 및 비용에 대한 통찰력을 제공하며, 이는 Palladino가 경쟁업체가 부족하다고 주장하는 상세한 수준입니다.

Kong의 통합 제어 플랫폼인 Kong Konnect는 고급 AI 모델을 전통적인 API와 함께 수익화하는 데 기여합니다. Palladino는 “API 수익화의 다음 프론티어는 모델 자체입니다. 독점 기업 인텔리전스로 모델을 미세 조정하는 것은 큰 가치를 지닙니다”고 설명했습니다.

이 출시 소식은 OpenAI의 ChatGPT 성공 이후 생성 AI에 대한 관심이 급증하는 가운데 전해졌습니다. 하지만 많은 기업들이 이 기술을 효과적으로 배포하고 관리하는 데 어려움을 겪고 있습니다. Kong은 전문화된 AI 게이트웨이로 이 과정을 간소화하는 것을 목표로 하고 있습니다.

“모든 기업이 우리가 만든 것을 복제하고 싶어했습니다”고 Palladino는 말하며, 압도적인 수요가 제품을 일반 공개하게 가속화한 원동력이 되었다고 강조했습니다. “우리는 이미 이 기능을 사용하는 기업 고객이 베타 버전에 대해 생산 환경에서 운영하고 있습니다.”

2009년 Mashape로 설립된 후 2017년에 Kong으로 브랜드를 변경한 이 회사는 1억 7천만 달러 이상의 벤처 자금을 모았으며, 500개 이상의 글로벌 조직을 위해 수조 건의 API 거래를 지원합니다. AI 네이티브 인프라에 전략적으로 집중함으로써 Kong은 기업 환경에서 생성 AI 채택의 다음 물결을 이끌 준비가 되어 있습니다.

“생성 AI를 대규모로 활용하려면 올바른 AI 인프라를 배포하는 것이 중요하다”고 Palladino는 결론지었습니다. “Kong AI Gateway가 바로 그 솔루션입니다.”