Ускорьте оценку LLM с помощью данных Braintrust: Быстрое решение для предприятий

Калифорнийская компания Braintrust Data привлекла 5,1 миллиона долларов на этапе посевного финансирования от Greylock Partners. Основанная Анкуром Гоялом, который ранее продал свой AI-проект Impira компании Figma, Braintrust разработана для помощи предприятиям в эффективной оценке и улучшении AI-моделей до того, как они попадут в эксплуатацию.

Несмотря на то, что Braintrust — молодая стартап-компания, она уже быстро привлекла множество клиентов и инвесторов, среди которых известные фигуры отрасли, такие как Элад Гил, Клем Делаанг и Грег Брокман. Компания стремится расширить команду и продолжать предоставлять инновационные решения, позволяющие разработчикам не отставать в быстроразвивающемся мире AI.

Преодоление трудностей AI в производстве

Хотя AI является основой современных приложений, интеграция и поддержка этих систем могут быть сложными. Небольшие изменения в коде, направленные на улучшение приложения, могут непреднамеренно нарушить весь рабочий процесс, заставляя бэкенд-команды срочно искать решения. Эта реактивная стратегия может негативно сказаться на клиентском опыте, поэтому оценка работы AI на этапе разработки крайне важна. Команды анализируют специфические для контекста данные и метрики, экспериментируя с различными моделями и техниками для оптимизации результатов.

Оптимизация затрат времени и усилий

Хотя традиционные методы оценки эффективны, они часто требуют значительных временных и ресурсных затрат, задерживая запуск новых функций — с этим столкнулся Гойал в Impira. В ответ на это он основал Braintrust Data, чтобы ускорить оценки и провести реальное тестирование изменений в коде.

«Наш продукт позволяет измерять ваш код за менее чем час», — рассказал Гойал представителям СМИ. «Вы можете быстро повторно запустить оценки после внесения изменений и получить мгновенную обратную связь о производительности вашей модели, а также выявить конкретные случаи до окончательного развертывания. Это включает в себя логирование примеров как из тестовой, так и из рабочей среды для определения новых крайних случаев пользователей».

Быстрое принятие клиентами

Запущенный в августе 2023 года, Braintrust уже завоевал сотни клиентов из числа крупных предприятий и стартапов, включая Airtable, Zapier, Coda и Instacart. Отчеты показывают, что клиенты увеличили точность своих AI-решений более чем на 30% всего за несколько недель, что привело к более быстрым циклам релиза и улучшению командного взаимодействия.

«Наш продукт может работать в вашей облачной среде, обеспечивая безопасность на уровне предприятия — это жизненно важно в мире AI, насыщенном личной и конфиденциальной информацией. Эта возможность позволяет нашим клиентам использовать Braintrust для критически важных рабочих нагрузок», — добавил Гойал.

Увеличение эффективности AI-команд

Помимо инструментов оценки, Braintrust предлагает возможности, помогающие AI-командам быстрее итеративно работать, такие как игровая площадка для сравнения подсказок, бенчмаркинг входных и выходных данных, управление наборами данных, а также AI-прокси, предоставляющий доступ к популярным моделям от OpenAI, Anthropic, LLaMa 2 и Mistral.

Растущее внимание к качеству AI

С увеличением использования AI-решений бизнесом возникает сильный спрос на инструменты, которые оценивают производительность моделей и выявляют недостатки. Braintrust — не единственный игрок в этой сфере; с момента запуска ChatGPT появилось множество компаний, предлагающих различные продукты для измерения производительности моделей и повышения наблюдаемости.

Гойал подчеркивает уникальный подход Braintrust: «Хотя многие продукты сосредоточены на наблюдаемости, что дает информацию только после развертывания, наши оценки позволяют инженерным командам совершенствоваться в десять раз быстрее, чем тем, кто полагается только на исправления после релиза».

С недавним финансированием от Greylock, которое увеличило общий объём привлеченного капитала до 8,3 миллиона долларов, Гойал планирует расширить команду и продвинуть дорожную карту продукта, улучшая возможности Braintrust в оценках и инструментах AI, включая функции игровых площадок для подсказок, логирования в производственной среде, поддержку мультимодальных моделей и многое другое.

Most people like

Find AI tools in YBX