Современные большие языковые модели (LLM) становятся всё более сложными. Тем не менее, данные, на которых они основывают свои ответы, зачастую остаются статичными, что приводит к устаревшей информации, которая может быть неактуальной в течение недель или даже месяцев. Эта проблема делает генерацию с поддержкой извлечения данных (RAG) жизненно важной для современных предприятий, позволяя создавать актуальные и специфические для компании результаты. Однако процессы извлечения информации могут сталкиваться с проблемами точности, масштабируемости и безопасности, особенно при работе со сложным контентом.
Чтобы решить эти задачи, Pryon представила Pryon Retrieval Engine — передовую платформу, которая безопасно извлекает информацию из сложного и разбросанного контента, позволяя организациям максимально использовать возможности современных ИИ-инструментов. «Надежность сгенерированного контента вызывает сомнения, и предвзятость является значительной проблемой», — сказал Крис Маль, президент и COO Pryon. «Некоторые модели фактически заморожены во времени. Вы можете задать проницательный вопрос, но ответ будет основан на устаревшей информации, что создает значительные трудности».
Создание последовательной базы знаний
Современные методы обработки данных зачастую не справляются со сложным документальным контентом, что затрудняет достижение точности в масштабах. Более того, контент часто разбросан по различным системам и форматам. Pryon Retrieval Engine преодолевает эти препятствия, интегрируя миллионы данных предприятия в единую целостную базу знаний, называемую «коллекцией».
Система использует семантические нейронные сети, анализ документов и запатентованное оптическое распознавание символов (OCR) для извлечения текста из изображений, графиков, таблиц и даже рукописных заметок. Также используется сегментация видео для выявления ключевых компонентов, нормализации контента и применения визуальной семантической сегментации для категоризации документов. Пользователи могут задавать вопросы в различных форматах, получая ответы за считанные миллисекунды. Маль описывает эту многослойную информационную систему как «ткань знаний», подчеркивая ее сложность.
Для обеспечения безопасности Pryon включает списки контроля доступа (ACL) для определения прав доступа пользователей. Система также адаптируема для развертывания в локальных, публичных и частных облачных средах, а также в изолированных сетях. Предустановленные компоненты позволяют организациям внедрять готовые к производству приложения генерирующего ИИ всего за две недели, в то время как интерфейс без кода позволяет обновлять контент в реальном времени.
Движок поддерживает API для кастомизированных развертываний и бесшовно интегрируется с платформами, такими как Microsoft SharePoint, Confluence, AWS S3, Google Drive, Zendesk, ServiceNow и Salesforce. «Вся конфиденциальная информация — независимо от формата, от сложных схем до обширных отчетов — безопасно интегрируется в модель, позволяя пользователям взаимодействовать в формате диалога и получать точные, атрибутивные ответы», — отметил Маль.
Применения в различных отраслях
Один из клиентов использовал Pryon в локальной среде для консолидирования 400,000 технических документов, доступных для 5,000 пользователей, предоставляя точные ответы за миллисекунды. В другом случае компания по производству игровых технологий использовала Pryon для помощи миллионам клиентов в решении сложных технических вопросов на своем сайте поддержки. Этот портал позволяет пользователям задавать вопросы на естественном языке и обновляется несколько раз в день.
Аналогично, Pryon помогла инженерной фирме получить быстрый доступ к миллионам документов, критически важных для поддержания основных систем. Страховые компании также интегрировали Pryon для улучшения процессов андеррайтинга, в то время как компании с сложными продуктами используют движок для повышения квалификации своих отделов продаж. «Слой данных извлечения, слой данных, готовый к RAG, — это самый важный актив организации», — отметил Маль. «Поэтому наличие безопасной и масштабируемой инфраструктуры для управления этой информацией имеет первостепенное значение».
Ориентация на фрагментированные данные в предприятиях
Данные являются основой ценности в организациях, но их понимание часто ограничено. Данные существуют в различных формах — видео, длинные тексты, электронные письма, финансовые документы и даже микрофишки — что делает сложным выявление ключевой информации. Компании обладают большими объемами сложных высокоценных данных, которые могут ускорить разработку продуктов. Тем не менее, нахождение релевантных данных для конкретных проектов может быть практически невозможным. Например, инженерная компания по производству чипов может иметь миллионы документов, разбросанных между несколькими исследовательскими отделами.
«Работа с престижными фирмами продемонстрировала, насколько фрагментирована их информация», — сказал Маль. «Генерирующий ИИ уже на сцене, но сталкивается с серьезными трудностями из-за фрагментации данных внутри организаций». Маль подчеркнул важность безопасности, признав, что хотя генеративный ИИ вызывает интерес, существуют глубокие проблемы конфиденциальности и безопасности данных. При прогнозируемых выгодах в 4.4 триллиона долларов в год от генеративного ИИ организации остаются настороженными в отношении раскрытия конфиденциальных данных перед публичными LLM и облаком. «Я постоянно подчеркиваю безопасность, безопасность и безопасность», — настойчиво добавил Маль. «Этот уровень контроля безопасности — один из наших основных принципов».
Улучшение понимания вопросов в ИИ
Чтобы предоставить точные ответы, ИИ должен сначала понять нюансы вопроса. Системы Pryon созданы для понимания сложностей запросов, учитывая все, начиная от заголовков и заканчивая макетом. Движок использует расширение запросов, обнаружение вне домена и встраивание запросов для интерпретации запросов на естественном языке, применяя три запатентованных модели для идентификации и ранжирования релевантного содержимого.
Маль отметил, что люди задают вопросы об одной и той же теме различными способами. Например, «насколько выше доход в этом году по сравнению с прошлым?» и «каков был доход в прошлом году?» «Когда у вас есть организованный интеллект, становится жизненно важным подготавливаться к точной реакции на вопрос, заданный несколькими способами», — объяснил Маль. Этот процесс включает анализ основного вопроса, оценку контента и создание разнообразного набора потенциальных запросов.
Обеспечение точной атрибуции ответов ИИ
Атрибуция критически важна для предотвращения «галлюцинаций» моделей, то есть предоставления неверной информации. «Хотя многие из нас используют ChatGPT и другие модели, может быть неясно, откуда берутся ответы», — признал Маль. Pryon устраняет это, обеспечивая, чтобы все сгенерированные ответы основывались на надежных, канонических источниках информации. Это позволяет пользователям задавать многосоставные вопросы, получая ответы, сформированные из различных источников, все четко атрибутированы. «Платформа Pryon создана для того, чтобы предоставить CIO, CTO и техникам контроль над своей неструктурированной и полуструктурированной информацией для оптимизации производительности», — подытожил Маль.
Рейтинг
