Kong Lança Gateway de IA para Empresas Gerenciarem e Escalarem Soluções de IA Generativa

A Kong Inc., líder em tecnologias de API em nuvem, lançou o Kong AI Gateway, um gateway de API nativo em IA projetado para gerenciar e proteger cargas de trabalho de IA generativa em qualquer ambiente de nuvem. Após seu lançamento em versão beta em fevereiro, o produto ganhou força significativa à medida que as organizações buscam operacionalizar a IA generativa.

O Kong AI Gateway inclui um conjunto abrangente de recursos de infraestrutura adaptados à IA, como suporte para vários modelos de linguagem de grande porte (LLMs), cache semântico, roteamento semântico, firewall semântico e gerenciamento de ciclo de vida de modelos. Ele se integra perfeitamente à plataforma de API existente da Kong, permitindo que as empresas gerenciem IA juntamente com APIs tradicionais.

“As organizações e desenvolvedores estão criando casos de uso inovadores de IA generativa para aprimorar as experiências de usuários e clientes. No entanto, escalar essa tecnologia de ponta em produção requer uma infraestrutura robusta,” explicou Marco Palladino, CTO e co-fundador da Kong.

Palladino afirma que o Kong AI Gateway representa uma das tecnologias de infraestrutura de IA mais avançadas disponíveis, aproveitando os recursos de gateway estabelecidos da Kong e oferecendo funcionalidades específicas para IA. Ele comparou essa evolução aos primeiros dias das APIs, que ganharam relevância uma vez que uma infraestrutura adequada foi implementada para apoiar os desenvolvedores.

Servindo como um hub central, o Kong AI Gateway oferece uma interface de API unificada para gerenciamento e segurança de diversas tecnologias de IA em aplicações. Suas amplas capacidades abrangem governança, observabilidade e segurança, permitindo que as empresas implementem e escalem iniciativas de IA generativa de maneira eficaz.

Uma grande vantagem do Kong AI Gateway é sua capacidade de introspecionar o tráfego de IA e criar uma API unificada para acessar diversos provedores de IA. “Ao contrário de outras plataformas de gerenciamento de API que tratam APIs de LLM como APIs padrão, a Kong eleva a abordagem,” observou Palladino.

O gateway oferece recursos robustos, como segurança de prompts, conformidade, governança, modelagem e gerenciamento de ciclo de vida em torno dos prompts de IA. Além disso, fornece "métricas de observabilidade L7 em IA", que oferecem insights sobre desempenho de provedores, uso de tokens e custos, um nível de detalhe que Palladino afirma que os concorrentes não conseguem oferecer.

O plano de controle unificado da Kong, Kong Konnect, facilita a monetização de modelos de IA ajustados ao lado de APIs tradicionais. “A próxima fronteira na monetização de APIs são os próprios modelos,” explicou Palladino. “Ajustar modelos com inteligência corporate proprietária possui um valor significativo.”

O lançamento ocorre em meio a um crescimento do interesse por IA generativa, especialmente após o sucesso do ChatGPT da OpenAI. No entanto, muitas empresas enfrentam desafios para implementar e governar efetivamente a tecnologia. A Kong busca simplificar esse processo com seu gateway especializado em IA.

“Cada empresa estava ansiosa para replicar o que criamos,” observou Palladino, citando a demanda esmagadora como o catalisador para acelerar o produto à disponibilidade geral. “Já temos clientes corporativos usando essa capacidade em produção, mesmo com a versão beta.”

Fundada originalmente como Mashape em 2009 e renomeada para Kong em 2017, a empresa já levantou mais de 170 milhões de dólares em financiamento de risco e suporta trilhões de transações de API para mais de 500 organizações globais. Com um foco estratégico em infraestrutura nativa em IA, a Kong está bem posicionada para impulsionar a próxima onda de adoção de IA generativa em ambientes corporativos.

“Para desbloquear a IA generativa em escala, a implementação da infraestrutura de IA adequada é crítica,” concluiu Palladino. “O Kong AI Gateway é exatamente essa solução.”