В эпоху больших языковых моделей (LLM) компании стремятся внедрить наиболее эффективные модели для своих уникальных приложений. Несмотря на то что задача выбора модели может показаться простой, многие организации сталкиваются с серьезной проблемой: как определить лучшее решение для своих конкретных случаев применения в постоянно меняющемся ландшафте.
На помощь приходит стартап Not Diamond, который выходит из режима скрытого старта и утверждает, что ключ к успеху заключается в умном маршрутизации. Not Diamond, расположенный в Сан-Франциско, разработал инновационный маршрутизатор LLM, позволяющий предприятиям одновременно использовать несколько моделей, направляя запросы к наиболее подходящей. Такой подход улучшает качество выводов, оптимизируя при этом критически важные факторы, такие как задержка и стоимость.
«Наша основная идея заключается в том, что будущее не будет состоять из единственной доминирующей модели или компании — будет множество базовых моделей, бесчисленное количество специализированных вариантов и множество пользовательских движков вывода, работающих на их основе. Мы основали Not Diamond, чтобы облегчить это многомодельное будущее, предлагая наиболее продвинутую инфраструктуру для маршрутизации между моделями», — говорит Томас Эрнандо Кофман, сооснователь и CEO Not Diamond.
Несмотря на свою раннюю стадию, Not Diamond привлек значительное внимание, получив 2,3 миллиона долларов финансирования от defy.vc и заметных фигур в сообществе ИИ, включая Джеффа Дина из Google DeepMind, Жюльена Шомона из Hugging Face, Зака Касса из OpenAI и других.
Проблема цен и производительности моделей LLM
Навигация в современном ландшафте больших языковых моделей сложна, так как каждая модель — будь то с открытым или закрытым исходным кодом — имеет свои сильные и слабые стороны. Выбор модели с большой длиной контекста и высокой производительностью часто может оказаться чрезмерно дорогим. В то же время более доступные варианты могут не иметь критически важных возможностей или демонстрировать высокую задержку.
Кроме того, новые модели появляются ежедневно, а существующие продолжают получать значительные обновления, демонстрируя потенциал открытых улучшений, таких как Llama 3.1.
Как Not Diamond помогает предприятиям
Кофман, ранее разработавший продукт на базе ИИ без кода, сам столкнулся с дилеммой LLM. Он представил решение: интерфейс, позволяющий предприятиям обращаться к сети специализированных моделей вместо одной общей. Эта идея привела его к сотрудничеству с экспертами по машинному обучению Цзе-Йангом Тунгом и Джеффри Акаки, чтобы основать Not Diamond, сосредоточив внимание на создании инфраструктуры, которая интеллектуально маршрутизирует запросы между моделями.
«Эффективная маршрутирующая инфраструктура жизненно важна для максимизации производительности ИИ-систем. Меньшие, специализированные модели могут превосходить крупные в определенных областях, а маршрутизация дает этим моделям надежность общих. Этот подход не только эффективен с точки зрения вычислений, но также улучшает интерпретируемость и безопасность», — пояснил Кофман.
Инновационные технологии Not Diamond
В основе решения Not Diamond лежит «мета-модель» и алгоритм ранжирования LLM. Этот маршрутизатор тщательно анализирует входящие запросы, автоматически направляя их к модели, лучше всего подготовленной для предоставления точных ответов, одновременно максимизируя эффективность затрат и минимизируя задержку. В результате команды освобождаются от необходимости вызывать крупные модели для простых запросов.
Результаты бенчмаркинга показывают, что маршрутизатор Not Diamond, использующий несколько LLM, превосходит отдельные модели, такие как Llama 3.1 и GPT-4, обеспечивая лучшие результаты. Для разработки этой возможности Not Diamond создал обширный набор данных для оценки для измерения производительности LLM в различных задачах, от ответов на вопросы до программирования и логики. Компания затем обучила алгоритм ранжирования для определения наиболее совместимой LLM для каждого запроса, что и является основой маршрутизации.
В декабре 2023 года Not Diamond выпустил открытый предварительный просмотр своего маршрутизатора, позволяя предприятиям без труда управлять запросами между GPT-3.5 и GPT-4, с планами на расширение до других моделей. Более того, если команда желает интегрировать маршрутизатор в свои внутренние рабочие процессы для конкретных приложений, она может предоставить внутренние наборы данных для оценки, чтобы обучить пользовательский маршрутизатор, оптимизируя выбор модели. Маршрутизатор также предлагает функции хэширования данных и перевода подсказок для улучшения производительности.
Ускорение принятия технологии разработчиками
Хотя Not Diamond все еще находится на ранней стадии, он видит значительный интерес со стороны начинающих компаний и независимых разработчиков. Хотя конкретное количество пользователей остается недоступным, один корпоративный клиент, Samwell AI, сообщил о 10%-ном улучшении качества вывода LLM и 10%-ном снижении затрат на вывод и задержку благодаря использованию технологий Not Diamond.
С поддержкой лидеров отрасли компания стремится развивать свои достижения, ускоряя разработку продукта и увеличивая темпы его принятия. Кофман подчеркивает, что у Not Diamond в разработке «множество дополнительных функций продукта», хотя детали остаются под замком.
В области умной маршрутизации запросов Not Diamond сталкивается с конкуренцией со сторон других заметных стартапов, таких как Martian и Unify. Однако Кофман утверждает, что Not Diamond выделяется благодаря своей выдающейся скорости маршрутизации, оптимизации подсказок и функциям конфиденциальности.
Рейтинг
