Увеличенная генерация извлечений (RAG) для корпоративного ИИ: Обзор DataStax
Увеличенная генерация извлечений (RAG) играет ключевую роль в использовании генеративного ИИ в корпоративных настройках, хотя соединение большой языковой модели (LLM) с базой данных — это лишь начало. Компания DataStax решает сложности, связанные с RAG в производственных условиях, благодаря новому набору технологий.
Известная своей коммерчески поддерживаемой версией базы данных Apache Cassandra, DataStax Astra DB, компания в прошлом году усилила внимание к генеративному ИИ и RAG. Включение возможностей поиска векторной базы данных и предоставление API данных способствовало разработке приложений RAG.
Достижения в области корпоративного RAG с Langflow 1.0
DataStax значительно продвинулась в области корпоративного RAG с запуском Langflow 1.0, позволяя разработчикам более эффективно создавать рабочие процессы RAG и ИИ-агентов. Обновленный инструмент Vectorize предлагает различные модели векторного кодирования, в то время как RAGStack 1.0 объединяет несколько инструментов для поддержки развертываний уровня предприятия.
По словам директора по продуктам DataStax Эда Анаффа, основная архитектура RAG может показаться простой, но достижение эффективности на уровне предприятия остается распространенной проблемой. Анафф описал феномен «RAG-ада», когда компании сталкиваются с разочаровывающими результатами после первоначально успешных концептуальных испытаний.
«Многие компании испытывают трудности при интеграции живых наборов данных в приложения RAG», — сказал Анафф. Цель обновлений от DataStax заключается в том, чтобы помочь предприятиям преодолеть эти преграды и успешно развернуть свои приложения.
Создание приложений RAG с Langflow
4 апреля DataStax приобрела Langflow, интуитивно понятный инструмент, построенный на технологии с открытым исходным кодом LangChain. В этом месяце Langflow 1.0 был выпущен как продукт с открытым исходным кодом, оснащенный расширенной библиотекой компонентов и улучшенной интеграцией с другими предложениями DataStax.
Одним из значительных усовершенствований является полнота Тюринга Langflow, позволяющая создавать сложные логические потоки и условия в приложениях. Эта функция включает улучшенные возможности ветвления и принятия решений, позволяя приложениям адаптироваться в зависимости от вводов, таких как история чата или поведение пользователя. Анафф отметил: «Эти усовершенствования способствуют улучшению пользовательского опыта в таких приложениях, как разговорные агенты, предлагая лучшую релевантность и взаимодействие».
Роль векторов и неструктурированных данных в RAG
В центре RAG находятся векторные встраивания, хранящиеся в векторной базе данных, где выбор модели встраивания имеет критическое значение. Технология Vectorize от DataStax позволяет пользователям выбирать из разнообразного набора моделей встраивания, адаптированных к их наборам данных, включая предложения от Azure OpenAI, Hugging Face и NVIDIA NeMo.
«Эти различные модели встраивания имеют свои оптимизации и компромиссы», — объяснил Анафф. «Выбор правильной модели может значительно улучшить производительность».
Для дальнейшего повышения точности внедрения RAG DataStax сотрудничает с unstructured.io, который структурирует неструктурированные данные перед векторизацией. Анафф подчеркнул, что эта интеграция повышает точность и достоверность развертывания ИИ-приложений.
RAGStack 1.0 и введение ColBERT
В основе этих разработок лежит RAGStack 1.0, ориентированная на предприятия структура, которая объединяет различные компоненты экосистемы ИИ с собственными инструментами DataStax. Замечательным нововведением в этом релизе стал ColBERT (Контекстуализированные представления BERT для извлечений) — алгоритм реколла, который улучшает сопоставление контекста и релевантность в приложениях RAG.
«С ColBERT это похоже на поиск иглы среди игл», — заметил Анафф. «Вы можете уверенно находить именно ту, которую ищете, а не просеивать нерелевантные данные».
В заключение, DataStax революционизирует способы развертывания RAG и генеративного ИИ для предприятий, предоставляя инструменты, необходимые для оптимизации эффективности и релевантности их приложений.
Рейтинг
