Databricks представляет новые инструменты для создания высококачественных приложений RAG.

Сегодня Databricks объявил о запуске новых инструментов для генерации с увеличенной выборкой (RAG) в рамках своей платформы Data Intelligence. Эти инструменты призваны помочь бизнесу в создании, развертывании и поддержании высококачественных приложений на основе больших языковых моделей (LLM), адаптированных под различные сценарии использования.

Теперь доступные в публичном режиме бета-тестирования, эти инструменты решают важные задачи, связанные с разработкой готовых к производству RAG-приложений. Они упрощают процесс интеграции актуальных данных о бизнесе из различных источников с соответствующими моделями, а также обеспечивают эффективное отслеживание приложений на предмет проблем, таких как токсичность, которые часто затрагивают LLM.

Крейг Уайли, старший директор по продуктам в области AI/ML в Databricks, подчеркнул актуальность разработки RAG-приложений: «Организациям сложно предоставлять решения, которые постоянно генерируют точные и качественные ответы, при этом внедряя барьеры для предотвращения нежелательных результатов».

Понимание RAG и его вызовов

Несмотря на растущую популярность LLM, многие существующие модели зависят от параметризованных знаний, что ограничивает их способность предоставлять актуальные и специфичные по контексту ответы, особенно для внутренних бизнес-потребностей. Генерация с увеличенной выборкой (RAG) решает эту проблему, используя конкретные источники данных для повышения точности и надежности ответов модели. Например, модель, обученная на данных HR, может помочь сотрудникам с различными запросами.

RAG включает несколько сложных задач, таких как сбор и подготовка структурированных и неструктурированных данных из множества источников, выбор модели, генерация запросов и постоянный мониторинг. Этот фрагментированный подход часто приводит к снижению эффективности RAG-приложений.

Как Databricks задает тон

Новые инструменты RAG от Databricks интегрируют различные процессы, позволяя командам быстро создавать прототипы и развертывать качественные RAG-приложения. Такие функции, как векторный поиск и обслуживание функций, устраняют необходимость в создании сложных конвейеров данных, поскольку структурированные и неструктурированные данные из таблиц Delta синхронизируются с приложением LLM. Это гарантирует доступ к самой актуальной и релевантной информации о бизнесе для точных и контекстуально осмысленных ответов.

«Unity Catalog автоматически отслеживает связь между офлайн и онлайн наборами данных, упрощая устранение проблем с качеством данных и обеспечивая настройки контроля доступа для лучшего управления данными», отметили соучредитель Databricks и вице-президент по инженерии Патрик Уэнделл и технический директор сети нейронов Ханлин Танг.

Кроме того, разработчики могут использовать единый AI-площадку и оценку MLFlow для тестирования моделей от различных поставщиков, включая Azure OpenAI Service, AWS Bedrock и открытые решения, такие как Llama 2 и MPT. Эта гибкость позволяет командам разрабатывать проекты с наиболее эффективными и экономичными моделями, сохраняя возможность перейти на улучшенные решения по мере их появления.

Продвинутые возможности мониторинга

После развертывания RAG-приложения критически важно отслеживать его производительность в масштабах. Databricks предоставляет полностью управляемую функцию мониторинга Lakehouse, которая автоматически проверяет ответы приложений на токсичность, галлюцинации или любое небезопасное содержание. Эта проактивная система обнаружения подает данные в панели мониторинга, системы оповещения и конвейеры данных, позволяя командам быстро реагировать на проблемы. Функция интегрируется с генеалогией моделей и наборов данных, что облегчает быструю идентификацию ошибок и их причин.

Успех раннего внедрения

Хотя новые инструменты только что запущены, такие компании, как поставщик RV Lippert и EQT Corporation, уже тестируют их возможности в платформе Data Intelligence от Databricks. Крис Нишник, возглавляющий проекты по данным и AI в Lippert, поделился: «Databricks улучшает наши операции в колл-центре, интегрируя разнообразные источники контента в наш векторный поиск, что гарантирует, что агенты имеют все необходимые знания под рукой. Этот инновационный подход значительно повышает эффективность и качество обслуживания клиентов».

Внутри компании Databricks также внедряет RAG-приложения. По словам Уайли, IT-команда компании тестирует RAG-слаκбота для аккаунт-менеджеров и плагин для браузера для специалистов по развитию продаж.

Признавая растущий спрос на специализированные LLM-приложения, Databricks планирует значительно увеличить инвестиции в свою линейку инструментов RAG. Цель состоит в том, чтобы предоставить клиентам возможность развертывать высококачественные LLM-приложения в масштабах, с постоянным вниманием к исследованиям и будущим инновациям в этой области.