Acelere a Avaliação de LLM com os Dados da Braintrust: Uma Solução Rápida para Empresas

A Braintrust Data, com sede na Califórnia, levantou US$ 5,1 milhões em uma rodada de financiamento semente, liderada pela Greylock Partners. Fundada por Ankur Goyal, que anteriormente vendeu sua empresa de IA, Impira, para a Figma, a Braintrust tem como objetivo ajudar as empresas a avaliar e aprimorar modelos de IA de maneira eficiente antes que eles entrem em produção.

Apesar de ser uma startup jovem, a Braintrust rapidamente atraiu diversos clientes e investidores renomados, incluindo Elad Gil, Clem Delangue e Greg Brockman. A empresa busca expandir sua equipe e continuar fornecendo soluções inovadoras que capacitem os desenvolvedores a se manterem atualizados no dinâmico cenário da IA.

Navegando pelos Desafios da IA na Produção

Embora a IA funcione como a espinha dorsal de aplicações modernas, integrar e manter esses sistemas pode ser desafiador. Pequenas modificações no código, que visam melhorar uma aplicação, podem interromper o fluxo de trabalho, forçando as equipes de backend a buscar soluções rapidamente. Essa estratégia reativa pode impactar negativamente a experiência do cliente, tornando essencial a avaliação do desempenho da IA durante o desenvolvimento. As equipes analisam dados e métricas contextuais enquanto testam diferentes modelos e técnicas para otimizar resultados.

Agilizando Tempo e Esforço

Embora os métodos tradicionais de avaliação sejam eficazes, eles costumam consumir muito tempo e recursos, atrasando lançamentos de funcionalidades — um problema que Goyal enfrentou na Impira. Em resposta, ele fundou a Braintrust Data para facilitar avaliações mais rápidas e testes práticos de alterações no código.

"N nosso produto permite instrumentar seu código para avaliações em menos de uma hora", explicou Goyal à imprensa. "Você pode rapidamente reexecutar avaliações após mudanças e receber feedback instantâneo sobre o desempenho do seu modelo, além de depurar casos específicos antes da implantação final. Isso inclui registrar exemplos tanto do ambiente de teste quanto da produção para identificar novos casos de uso."

Adoção Rápida por Clientes

Lançada em agosto de 2023, a Braintrust já conquistou centenas de clientes, incluindo Airtable, Zapier, Coda e Instacart. Relatos indicam que os clientes aumentaram a precisão de suas ofertas de IA em mais de 30% em poucas semanas, resultando em ciclos de lançamento mais rápidos e melhor colaboração entre equipes.

"Nosso produto pode operar dentro do seu próprio ambiente de nuvem, garantindo segurança em nível empresarial — vital em um cenário de IA repleto de informações pessoais identificáveis (PII) e dados proprietários. Essa capacidade permite que nossos clientes utilizem a Braintrust para cargas de trabalho críticas", acrescentou Goyal.

Aumentando a Eficiência das Equipes de IA

Além das ferramentas de avaliação, a Braintrust oferece recursos que ajudam as equipes de IA a iterar mais rapidamente, como um playground de prompts para comparação, benchmark de pares de entrada e saída, gerenciamento de conjuntos de dados e um proxy de IA que proporciona acesso a modelos populares da OpenAI, Anthropic, LLaMa 2 e Mistral.

Um Foco Crescente na Qualidade da IA

À medida que as empresas adotam cada vez mais soluções de IA, há uma demanda forte por ferramentas que avaliem o desempenho dos modelos e abordem lacunas. A Braintrust não é a única empresa nesse espaço; muitas surgiram desde o lançamento do ChatGPT, oferecendo produtos diversos para medir o desempenho de modelos e melhorar a observabilidade.

Goyal enfatiza a abordagem única da Braintrust: "Enquanto muitos produtos se concentram na observabilidade, que fornece insights apenas após a implantação, nossas avaliações permitem que as equipes de engenharia inovem a uma velocidade até dez vezes maior do que aquelas que dependem apenas de correções pós-lançamento."

Com o financiamento recente da Greylock, que eleva o capital total levantado para US$ 8,3 milhões, Goyal planeja expandir a equipe e avançar no roadmap do produto, aprimorando as capacidades da Braintrust em avaliações e ferramentas de IA, incluindo funções de playground de prompts, registro em produção, suporte a modelos multimodais e muito mais.