Недавний тур Media AI Impact посетил Сан-Франциско, сосредоточившись на реальных приложениях генеративного ИИ и тонкостях внедрения подобных инициатив. Мэтт Маршалл, генеральный директор медиакомпании, возглавил обсуждение с лидерами отрасли, включая Эда Анффа, главного продуктового офицера DataStax; Николь Кауфман, главного директора по трансформации Genesis Health; и Тиссона Мэтью, генерального директора Skypoint.
Этот разговор имеет важное значение в рамках перехода предприятий от исследовательских стадий генеративного ИИ к зрелым внедрениям. Компании уходят от простых экспериментов с инструментами, такими как ChatGPT, и теперь сталкиваются с критическим вопросом: как нам использовать эту технологию и интегрировать её с нашими основными бизнес-данными для производственного использования?
«Мы наблюдаем за возникновением модели зрелости ИИ», - отметил Анфф. «Организации переходят от одноразовых проектов, нацеленных на быстрые победы, к критическим инициативам ИИ, которые возглавляют бизнес-лидеры, сосредотачиваясь на масштабных и заметных внедрениях. Эти усилия могут занять больше времени на разработку, но их трансформационный потенциал значителен».
Генеративный ИИ может быть применен в различных сценариях, от операций в задних офисах до публичных веб-сайтов и мобильных приложений. Хотя компании все еще могут использовать термины, такие как «чат-боты» или «разговорные интерфейсы», их главной целью является создание интеллектуальных приложений, которые позволят интерактивно извлекать данные в соответствующих контекстах. Основное решение заключается в том, разрабатывать ли эти решения внутренними силами или использовать готовые продукты.
Предварительные Условия для Производства
Для поддержки клиентов или финансового анализа многие организации стремятся применять генеративный ИИ для создания приложений, которые извлекают инсайты из внутренних данных. Анфф объяснил: «В зависимости от объема ваших данных и специфических требований к индивидуальному интерфейсу, готовые решения могут быть весьма эффективны. Такие компании, как Amazon, предлагают платформы, которые позволяют загружать документы для немедленной реакции чат-ботов, что обеспечивает быструю и простую реализацию».
Тем не менее, по мере того, как предприятия расширяют свое внимание от небольших приложений в задних офисах к критически важным сценариям, связанным с основными функциями бизнеса — особенно тем, которые обращены к клиенту — базовых решений может быть недостаточно. Анфф привел в пример приложения в области здравоохранения, требующие подключения к источникам данных в реальном времени для получения точных ответов на основе обновленной информации о пациентах. Он также подчеркнул, что ИИ-агенты в финансовых институтах Азиатско-Тихоокеанского региона предоставляют прямой доступ к финансовому планированию, основанному на данных с финансовых отчетов.
«Это настраиваемое приложение ИИ RAG (извлечение дополненной генерации), связанное с вашими основными данными», - утверждает он. «Знаковые розничные компании, такие как Home Depot и Best Buy, инвестируют в специализированные команды веб-инженеров для разработки индивидуальных решений, соответствующих их бренду и бизнес-операциям».
Оценка Готовности и Стоимости
По мере того, как организации переходят от стадии идеации, они сталкиваются с двумя основными проблемами: актуальностью и стоимостью.
«Актуальность — новая ключевая метрика для многих в сфере данных», - объяснил Анфф. «Организациям необходимо оценить, насколько подходящи их ответы, сгенерированные ИИ. Проблемы актуальности часто требуют переоценки всей вашей архитектуры данных».
Это, в свою очередь, влияет на вторую проблему — стоимость. Найти способ предоставить релевантные и чистые результаты дорого, и организациям необходимо дополнительно оценить затраты, связанные с масштабированием в производство.
«Обсуждения этих вопросов дают реалистичную оценку готовности команд к производству», - отметил он. «Если актуальность продолжает быть преградой, это указывает на то, что команды преодолели первоначальные архитектурные вызовы, но сталкиваются с новыми сложностями, связанными с производственными затратами, которые часто идут рука об руку».
Галлюцинации, Данные и Важность RAG
Термин «галлюцинации» часто используется, когда ответы ИИ кажутся некорректными. Хотя это полезное разговорное выражение, не каждый ошибочный ответ является галлюцинацией; некоторые из них возникают из-за ошибок в обучающих данных. Галлюцинации происходят, когда большая языковая модель (LLM) экстраполирует за пределы своего обучения и генерирует неясный или вводящий в заблуждение контент. Анфф отметил, что существуют эффективные решения для этих проблем, особенно через RAG.
RAG сочетает в себе извлечение знаний и генеративный ИИ, позволяя системе обрабатывать и консолидировать данные из внутренней базы знаний, предоставляя контекстуально осознанные ответы на естественном языке, а не просто резюмируя информацию.
«Большая языковая модель преуспевает в двух областях», - заявил Анфф. «Во-первых, она понимает нюансы языка. Во-вторых, она служит хранилищем знаний. Программист может контролировать, сколько из своей встроенной информации она будет использовать, устанавливая ограничения на ответы, известные как «грунтование». Это значительно снижает риск галлюцинаций, поскольку модель концентрируется на релевантных данных».
Кроме того, Анфф подчеркнул, что RAG важен для безопасной и точной интеграции данных компании в реальном времени в модель во время вывода.
«Хотя существуют и другие методы интеграции данных, они часто не обладают безопасностью, возможностями в реальном времени и защитой», - утверждает он. «По этой причине использование связи между моделью и базой данных — независимо от того, называем ли мы это RAG — останется распространенным в отрасли в будущем».
Рейтинг
