Kolena Lança Plataforma Inovadora para Teste de Modelos de IA e Variações Personalizadas

Garantindo a Implantação Segura de Modelos de IA nos Negócios

Para as empresas que buscam implementar modelos de IA em suas operações—seja para colaboradores ou clientes—, a pergunta mais urgente não é apenas qual modelo escolher ou seu uso pretendido. Trata-se, em vez disso, de saber quando o modelo selecionado está seguro para ser implantado.

Quantos testes de backend são necessários? Que tipo de testes devem ser realizados? As empresas, compreensivelmente, desejam evitar contratempos como os enfrentados por algumas concessionárias que usaram o ChatGPT para atendimento ao cliente, onde usuários conseguiram enganar o sistema fazendo-o concordar em vender carros por $1.

A Importância de Testes Abrangentes

Testar adequadamente modelos de IA, especialmente versões ajustadas, pode ser a diferença entre um lançamento bem-sucedido e um que compromete a reputação e as finanças de uma empresa. A Kolena, uma startup de São Francisco cofundada por um ex-gerente sênior de engenharia da Amazon, anunciou recentemente o lançamento de sua Plataforma de Qualidade de IA. Esta aplicação web visa facilitar testes e validações rápidas e precisas de sistemas de IA.

A plataforma abrange diversas funções, incluindo monitoramento da qualidade dos dados, testes de modelos, testes A/B e monitoramento de desvios de dados e degradação de modelos ao longo do tempo. Inclui também capacidades de depuração.

“Resolver este problema é essencial para avançar na adoção de IA nas empresas,” observou Mohamed Elgendy, cofundador e CEO da Kolena, durante uma entrevista exclusiva. Elgendy traz uma experiência valiosa de seus cargos anteriores como VP de Engenharia na Rakuten e gerenciador sênior na Amazon, o que lhe proporciona uma visão dos desafios enfrentados pelas empresas na implantação de IA.

Como Funciona a Plataforma de Qualidade de IA da Kolena

A solução da Kolena tem como objetivo ajudar desenvolvedores de software e profissionais de TI a criar sistemas de IA seguros, confiáveis e equitativos para aplicações no mundo real. Ao permitir o desenvolvimento rápido de casos de teste detalhados a partir de conjuntos de dados, a plataforma possibilita uma análise rigorosa de modelos de IA/ML em cenários realistas, superando métricas estatísticas amplas que podem ocultar insights críticos de desempenho.

Cada cliente da Kolena conecta seu modelo escolhido via API e fornece seu próprio conjunto de dados juntamente com requisitos funcionais para a operação do modelo—seja texto, imagens, código, áudio ou outro conteúdo. Os clientes também podem avaliar características como viés e diversidade em idade, raça e etnia, entre várias métricas. A Kolena realiza testes simulando centenas ou milhares de interações para identificar quaisquer resultados indesejáveis, incluindo a frequência e as circunstâncias em que ocorrem.

Além disso, a Kolena retesta modelos após atualizações, re-treinamentos ou ajustes feitos por provedores ou clientes.

“Elgendy explica: ‘Serão realizados testes que apontarão exatamente onde seu modelo se degradou. A Kolena transforma os testes em uma disciplina de engenharia precisa, semelhante ao desenvolvimento de software.’”

Essa capacidade é valiosa não só para empresas, mas também para provedores de modelos de IA. Por exemplo, Elgendy observou que o Gemini do Google, que enfrentou escrutínio por gerar imagens imprecisas, poderia ter se beneficiado dos testes rigorosos fornecidos pela plataforma da Kolena antes de seu lançamento.

Testes Abrangentes Antes do Lançamento

Em linha com suas ambições, a Kolena garante testes extensivos de sua Plataforma de Qualidade de IA antes de um lançamento mais amplo. A empresa tem conduzido testes beta fechados com empresas da Fortune 500 e startups nos últimos 24 meses, refinando sua plataforma com base no feedback e nas necessidades dos usuários.

“Trabalhamos de perto com um grupo seleto de clientes para definir tanto desafios conhecidos quanto desconhecidos,” explicou Elgendy. Esse grupo já executou coletivamente "dezenas de milhares" de testes em modelos de IA utilizando a plataforma da Kolena.

Olhando para o futuro, a Kolena busca engajar clientes em três áreas-chave: 1. Construtores de modelos de fundação de IA, 2. Compradores do setor tecnológico, e 3. Compradores de indústrias não tecnológicas. Por exemplo, um parceiro está utilizando uma solução de modelo de linguagem grande para melhorar operações de drive-thru de fast food, enquanto outro foca em desenvolvedores de veículos autônomos.

Preços e Acessibilidade

A Plataforma de Qualidade de IA da Kolena opera sob um modelo de software como serviço (SaaS), com três faixas de preços que se escalonam com o crescimento da IA de uma empresa, desde avaliações iniciais de qualidade de dados até treinamento de modelos e eventual implantação.