Braintrust 데이터로 LLM 평가 가속화: 기업을 위한 빠른 솔루션

캘리포니아에 본사를 둔 Braintrust Data가 Greylock Partners의 주도로 510만 달러의 시드 펀딩을 유치했습니다. Ankur Goyal이 설립한 Braintrust는 AI 스타트업 Impira를 Figma에 매각한 경험을 바탕으로 기업들이 실제 운영에 앞서 AI 모델을 효율적으로 평가하고 개선할 수 있도록 지원합니다.

젊은 스타트업임에도 불구하고 Braintrust는 Elad Gil, Clem Delangue, Greg Brockman과 같은 업계의 저명한 인사들로부터 빠르게 많은 고객과 투자자를 확보했습니다. 회사는 팀을 확장하고 급변하는 AI 환경에서 개발자들이 앞서 나갈 수 있도록 혁신적인 솔루션을 지속적으로 제공할 계획입니다.

AI 프로덕션의 도전 과제 해결

AI는 현대 애플리케이션의 핵심이지만, 이러한 시스템을 통합하고 유지하는 것은 도전적입니다. 애플리케이션을 개선하기 위한 사소한 코드 수정이 전체 워크플로우를 방해할 수 있어, 백엔드 팀이 즉각적인 해결책을 찾아야 하는 상황이 발생할 수 있습니다. 이처럼 피동적인 전략은 고객 경험에 부정적인 영향을 미칠 수 있으므로, 개발 중 AI 성능을 평가하는 것이 중요합니다. 팀은 결과 최적화를 위해 다양한 모델과 기술을 실험하며 특정 데이터와 메트릭을 평가합니다.

시간과 노력을 간소화

전통적인 평가 방법은 효과적이지만, 상당한 시간과 자원을 소모해 기능 출시를 지연시키는 문제가 있습니다. Goyal은 Impira에서 이러한 문제를 겪고, 이를 해결하기 위해 Braintrust Data를 설립했습니다. 그는 미디어와의 인터뷰에서 "저희 제품은 평가를 위해 코드를 도구화하는 데 1시간도 걸리지 않습니다. 변경 후 신속하게 재평가를 수행하고 모델 성능에 대한 즉각적인 피드백을 받아 최종 배포 전에 특정 사례를 디버그할 수 있습니다. 이에는 새로운 사용자 엣지 케이스를 식별하기 위한 스테이징 및 프로덕션에서의 로그 예시가 포함됩니다."라고 설명했습니다.

빠른 고객 채택

2023년 8월에 출시된 Braintrust는 이미 Airtable, Zapier, Coda 및 Instacart와 같은 수백 개의 기업 및 스타트업 고객을 확보했습니다. 고객들은 몇 주 만에 AI 서비스를 30% 이상 개선하여 더 빠른 출시 주기와 강화된 팀 협업을 경험하고 있습니다. Goyal은 "우리 제품은 고객의 클라우드 환경 내에서 작동할 수 있어, PII 및 독점 정보가 넘쳐나는 AI 환경에서 중요한 기업 보안을 보장합니다. 이 기능은 고객들이 Braintrust를 중요한 워크로드에 활용할 수 있게 합니다."라고 덧붙였습니다.

AI 팀 효율성 향상

Braintrust는 평가 도구 외에도 AI 팀이 보다 신속하게 반복 작업을 수행할 수 있도록 지원하는 다양한 기능을 제공합니다. 여기에는 프롬프트 비교를 위한 프롬프트 플레이그라운드, 입력-출력 쌍 벤치마킹, 데이터셋 관리, OpenAI, Anthropic, LLaMa 2 및 Mistral의 인기 모델에 대한 접근을 제공하는 AI 프록시가 포함됩니다.

AI 품질에 대한 집중 확대

기업들이 AI 솔루션을 점점 더 채택함에 따라 모델 성능 평가 및 이를 보완할 수 있는 도구에 대한 강한 수요가 증가하고 있습니다. Braintrust 외에도 ChatGPT 출시 이후 여러 회사들이 모델 성능을 측정하고 관찰 가능성을 향상시키기 위한 다양한 제품을 선보이고 있습니다. Goyal은 Braintrust의 독특한 접근 방식을 강조하며 "많은 제품이 배포 후에만 인사이트를 제공하는 관찰 가능성에 집중하는 반면, 우리의 평가는 엔지니어링 팀이 출시 후 수정에만 의존하는 것보다 최대 10배 더 빠른 혁신을 가능하게 합니다."라고 말했습니다.

Greylock로부터의 최근 펀딩으로 총 자본이 830만 달러에 이른 Goyal은 팀을 확장하고 제품 로드맵을 발전시켜 Braintrust의 평가 및 AI 도구 기능을 강화할 계획입니다. 여기에는 프롬프트 플레이그라운드 기능, 프로덕션 로깅, 다중 모달 모델 지원 등이 포함됩니다.