Acelera la Evaluación de LLM con los Datos de Braintrust: Una Solución Rápida para Empresas

Braintrust Data, con sede en California, ha recaudado 5.1 millones de dólares en financiación inicial, liderada por Greylock Partners. Fundada por Ankur Goyal, quien anteriormente vendió su empresa de inteligencia artificial Impira a Figma, Braintrust está diseñada para ayudar a las empresas a evaluar y mejorar de manera eficiente los modelos de IA antes de su implementación.

A pesar de ser una startup joven, Braintrust ha atraído rápidamente a numerosos clientes e inversores reconocidos en la industria, como Elad Gil, Clem Delangue y Greg Brockman. La empresa busca expandir su equipo y continuar entregando soluciones innovadoras que permitan a los desarrolladores mantenerse al día en el paisaje de IA en constante evolución.

Superando los Desafíos de la IA en Producción

La IA es la columna vertebral de las aplicaciones modernas, pero su integración y mantenimiento pueden ser complicados. Modificaciones menores en el código, destinadas a mejorar una aplicación, pueden interrumpir inesperadamente todo el flujo de trabajo, obligando a los equipos a buscar soluciones apresuradamente. Esta estrategia reactiva puede afectar negativamente la experiencia del cliente, lo que hace crucial evaluar el rendimiento de la IA durante el desarrollo. Los equipos analizan datos y métricas específicas del contexto mientras experimentan con diferentes modelos y técnicas para optimizar resultados.

Optimizando Tiempo y Esfuerzo

Aunque los métodos de evaluación tradicionales son efectivos, a menudo consumen tiempo y recursos significativos, retrasando los lanzamientos de características, un problema que Goyal experimentó en Impira. En respuesta, fundó Braintrust Data para facilitar evaluaciones más rápidas y pruebas en el mundo real de los cambios en el código.

“Nuestro producto permite instrumentar su código para evaluaciones en menos de una hora”, explicó Goyal a la prensa. “Puede volver a ejecutar evaluaciones rápidamente después de los cambios y recibir comentarios instantáneos sobre el rendimiento de su modelo y depurar casos específicos antes de la implementación final. Esto incluye registrar ejemplos tanto del entorno de pruebas como de producción para identificar nuevos casos extremos de usuario.”

Adopción Rápida por Parte de los Clientes

Lanzada en agosto de 2023, Braintrust ya ha ganado cientos de clientes empresariales y startups, incluidos Airtable, Zapier, Coda e Instacart. Los clientes han reportado un aumento en la precisión de sus ofertas de IA de más del 30% en solo semanas, lo que ha llevado a ciclos de lanzamiento más rápidos y a una mejor colaboración en equipo.

“Nuestro producto puede operar dentro de su propio entorno en la nube, garantizando seguridad a nivel empresarial, lo cual es vital en un paisaje de IA lleno de información personal y confidencial. Esta capacidad permite a nuestros clientes usar Braintrust para cargas de trabajo críticas”, agregó Goyal.

Mejorando la Eficiencia del Equipo de IA

Además de las herramientas de evaluación, Braintrust ofrece funcionalidades que ayudan a los equipos de IA a iterar más rápidamente, como un entorno de pruebas para comparar prompts, evaluar pares de entrada-salida, gestionar conjuntos de datos y un proxy de IA que proporciona acceso a modelos populares de OpenAI, Anthropic, LLaMa 2 y Mistral.

Un Enfoque Creciente en la Calidad de la IA

A medida que las empresas adoptan cada vez más soluciones de IA, hay una gran demanda de herramientas que evalúen el rendimiento de modelos y aborden brechas. Braintrust no es el único jugador en este espacio; muchas empresas han surgido desde el lanzamiento de ChatGPT, ofreciendo diversos productos para medir el rendimiento del modelo y mejorar la observabilidad.

Goyal enfatiza el enfoque único de Braintrust: “Mientras que muchos productos se centran en la observabilidad, que solo proporciona información después de la implementación, nuestras evaluaciones permiten a los equipos de ingeniería innovar a velocidades hasta diez veces más rápidas que aquellas que dependen únicamente de correcciones post-lanzamiento.”

Con la reciente financiación de Greylock, que eleva el capital total recaudado a 8.3 millones de dólares, Goyal planea expandir el equipo y avanzar en la hoja de ruta del producto, mejorando las capacidades de Braintrust en evaluaciones y herramientas de IA, incluyendo funciones de entorno de prueba de prompts, registro en producción, soporte para modelos multimodales y más.