Руководители IT-отделов всё чаще отводят приоритетное место генеративному ИИ, применяя его к ключевым бизнес-функциям, таким как маркетинг, дизайн, разработка продуктов, анализ данных, операции и продажи. Кроме того, генеративный ИИ играет важную роль в гуманитарных инициативах, включая разработку вакцин, диагностику рака и программы по оптимизации ресурсов в области экологии, социальной сферы и корпоративного управления.
Однако каждая из этих областей применения сопряжена с уникальными рисками безопасности, касающимися конфиденциальности, соблюдения норм и потенциальной утраты чувствительных данных и интеллектуальной собственности. По мере увеличения использования генеративного ИИ эти риски будут только усугубляться.
«Организации должны заранее планировать каждый проект генеративного ИИ — как внутри компании, так и снаружи, учитывая не только текущие риски, но и будущие вызовы», — советует Виджой Пенди, старший вице-президент Outshift by Cisco. «Крайне важно находить баланс между инновациями и доверием пользователей, придавая первостепенное значение конфиденциальности, подлинности и ответственности».
Понимание Уникальных Рисков Генеративного ИИ
Риски, связанные с генеративным ИИ, отличаются от рисков традиционных технологий. Сложные фишинг-атаки с использованием технологий глубоких фейков могут ввести пользователей в заблуждение, увеличивая случаи мошенничества с идентичностью. Мошенники могут выдать себя за представителей службы поддержки компании и незаконно получить конфиденциальную информацию, что приведёт к значительным финансовым потерям.
Кроме того, пользователи часто неосознанно вводят чувствительную информацию в модели генеративного ИИ, которые могут сохранять и использовать эти данные для обучения, вызывая серьёзные опасения по поводу соблюдения конфиденциальности и защиты данных. Организациям необходимо оставаться бдительными в отношении новых норм, возникающих в ответ на риски генеративного ИИ.
Хотя обширные требования к данным больших языковых моделей (LLM) представляют собой проблемы, существующие рамки безопасности могут помочь смягчить риски, связанные с сырыми данными и утечками информации.
Мошенники могут использовать уязвимости в процессе генеративного ИИ, что может повредить точности прогнозов, привести к отказам в обслуживании или даже нарушить работу операционных систем и подорвать репутацию в социальных сетях.
«Сталкиваясь с угрозами, такими как отравление данных и инверсия моделей, выявление становится первоочередной задачей», — объясняет Пенди. «Мы полагаемся на установленные интервалы доверия для оценки выводов моделей, но если злоумышленники подорвут процесс, наши стандарты доверия могут быть нарушены».
Обнаружить проблемы сразу сложно; они обычно проявляются со временем. Команды по обеспечению безопасности располагают такими ресурсами, как MITRE ATLAS и OWASP Top 10, чтобы справляться с возникающими угрозами безопасности в сфере генеративного ИИ.
«Генеративный ИИ всё ещё развивается, и безопасность должна развиваться вместе с ним», — предостерегает Пенди. «Это процесс, который продолжается».
Проблемы Безопасности Интеллектуальной Собственности и Прозрачности
Генеративный ИИ создает сложные выводы, обрабатывая огромные объемы данных и сложные алгоритмы. Пользователи, как правило, не могут отследить источники предоставленной информации, что приводит к серьёзным рискам в отношении раскрытия интеллектуальной собственности. Эта проблема возникает как из внешних обучающих данных, так и из пользовательского контента, вводимого в модели.
«Задача заключается в обеспечении доступа к данным, защищая интеллектуальную собственность и конфиденциальную информацию от утечек из организации или неконтролируемого попадания в модель», — заявляет Пенди. «Используем ли мы контент с открытым исходным кодом или лицензированный материал ненадлежащим образом?»
Кроме того, модели генеративного ИИ часто не имеют актуальности и специфики данных в реальном времени, что влияет на программы, такие как улучшенная генерация извлечения (RAG), которые учитывают текущий контекст бизнеса и предоставляют ссылки для верификации. RAG улучшает LLM, позволяя им непрерывно обучаться, снижая уровень неточностей и защищая чувствительную информацию.
«RAG похож на отправление универсала в библиотеку учиться квантовой физике», — описывает Пенди. «Сбор и усвоение релевантной информации — это то, что делает RAG. Несмотря на сопровождающие трудности и необходимость экспериментов, он эффективно настраивает базовые модели для удовлетворения потребностей организаций, не нарушая целостность данных».
Обеспечение Пользователей и Подготовка к Будущему
«Сейчас ландшафт случаев применения генеративного ИИ хорошо определен, но в ближайшие годы он проникнет во всё, что мы создаём или потребляем», — предсказывает Пенди. «Это требует принятия нулевой модели доверия».
Предположите, что каждая составляющая процесса — от данных до моделей и доступа пользователей — может потерпеть неудачу.
К тому же, учитывая новизну данной технологии, отсутствие установленных норм означает, что человеческие ошибки и уязвимости могут быть легко упущены из виду. Полная документация имеет решающее значение для решения потенциальных нарушений и приоритезации мер безопасности.
«Определите свои цели: задокументируйте источники данных, модели в производстве и их процессы обучения», — советует Пенди. «Категоризируйте приложения по степени их важности, обеспечивая соответствие политик безопасности этой критичности».
Безопасность должна быть встроена на каждом уровне — от инфраструктуры до приложения. Если один слой даст сбой, стратегия многослойной защиты может обеспечить дополнительную защиту, подчеркивая, что безопасность — это непрерывный путь.
«Решение для навигации по безопасности в генеративном ИИ заключается в стохастических процессах — разработке моделей, специально предназначенных для управления проблемами безопасности в других моделях», — предлагает Пенди.
Критическая Важность Доверия Пользователей к Генеративному ИИ
Доверие пользователей — ключевой показатель бизнес-эффективности. «Безопасность влияет на пользовательский опыт, непосредственно влияя на успех решений с генеративным ИИ», — подчеркивает Пенди. Потеря доверия может значительно повлиять на доход.
«Ненадежное приложение на самом деле становится недоступным; любые связанные с ним цели монетизации или бизнес-цели становятся неактуальными», — уточняет он. «То же касается ненадежной модели или приложения генеративного ИИ. Без безопасности ваша модель становится непригодной для использования, тем самым тормозя рост бизнеса».
Напротив, если клиенты обнаружат, что их личные данные были неправильно обработаны — особенно в среде генеративного ИИ — доверие может быстро подорваться, дополнительно осложняя и без того хрупкое восприятие технологий ИИ.
Эти две одновременные проблемы требуют времени, чтобы организации полностью осознали риски и разработали эффективные решения.
«Примите философию нулевого доверия, создайте надёжные меры защиты и оставайтесь в курсе непрозрачной природы генеративного ИИ», — заключает Пенди. «Признайте, что ваша позиция сегодня будет значительно отличаться через три года, поскольку как генеративный ИИ, так и связанные с ним меры безопасности будут быстро развиваться».
Рейтинг
