Все больше компаний стремятся интегрировать системы усиленной генерации информации (RAG) в свои технологии, что приводит к появлению инновационных методов для улучшения этого процесса. Компания Qdrant, занимающаяся векторными базами данных, уверена, что ее новая поисковая система BM42 значительно повысит эффективность и экономическую целесообразность RAG.
Qdrant, основанная в 2021 году, ставила целью улучшить гибридные поисковые возможности, сочетающие семантический и ключевой поиск, с помощью BM42. Андрей Васнецов, соучредитель и технический директор Qdrant, объяснил, что BM42 является обновлением широко используемого алгоритма BM25, который ранжирует релевантность документов в поисковых запросах. Традиционные системы в основном используют BM25, однако RAG применяет векторные базы данных, представляющие данные в виде математических метрик, что упрощает сопоставление данных.
Васнецов отметил: «Традиционные алгоритмы сопоставления ключевых слов, такие как BM25, предполагают, что документы достаточно велики для генерации статистики. Однако RAG работает с меньшими объемами информации, что делает BM25 неэффективным.»
BM42 использует языковую модель для извлечения актуальной информации из документов, а не для генерации встроений. Извлеченные данные токенизируются и оцениваются, что позволяет Qdrant точно определять информацию, необходимую для ответов на конкретные запросы.
Гибридный поиск предлагает множество возможностей для улучшения.
BM42 не единственное новшество, которое соревнуется с BM25 в оптимизации гибридного поиска и приложений RAG. Splade, или Sparse Lexical and Expansion model, является еще одним претендентом. Он использует предобученную языковую модель, способную распознавать отношения между словами, включая связанные термины, которые могут различаться между поисковым запросом и соответствующими документами.
Хотя некоторые компании по векторным базам данных используют Splade, Васнецов утверждает, что BM42 предлагает более экономически эффективное решение. «Splade может быть очень дорогим из-за объема и вычислительных требований этих моделей», — отметил он.
RAG быстро становится ключевой точкой в корпоративном ИИ, поскольку организации стремятся использовать генеративные модели ИИ с их корпоративными данными. Используя RAG, компании могут предоставлять сотрудникам и пользователям более точную и своевременную информацию из корпоративных данных.
Крупные игроки, такие как Microsoft и Amazon, уже предлагают облачные вычислительные инфраструктуры для создания приложений RAG. Кроме того, OpenAI приобретает Rockset в июне для улучшения своих возможностей RAG.
Хотя RAG позволяет пользователям связывать выходные данные ИИ моделей с данными компании, важно учитывать, что он остается языковой моделью и подвержен неточностям, часто называемым "галлюцинациями".
Рейтинг
