С ростом использования генеративного ИИ организации сталкиваются с новыми вызовами в области безопасности. Сегодня IBM представляет новый фреймворк безопасности, специально разработанный для защиты генеративного ИИ. IBM Framework for Securing Generative AI нацелен на обеспечение безопасности рабочих процессов на всех этапах их жизненного цикла — от сбора данных до развертывания в производственной среде. Этот фреймворк предоставляет информацию о распространенных угрозах безопасности, с которыми могут столкнуться организации при работе с генеративным ИИ, а также рекомендации по эффективным стратегиям защиты. В течение последнего года IBM увеличила свои возможности в области генеративного ИИ с помощью портфолио watsonX, включающего передовые модели и инструменты управления.
Райан Догерти, директор программы по emerging security technology в IBM, подчеркнул значимость этого фреймворка: «Мы обобщили наш опыт, чтобы выделить наиболее вероятные атаки и оптимальные меры безопасности, которые организации должны внедрить для защиты своих инициатив в области генеративного ИИ».
Что делает безопасность генеративного ИИ уникальной?
Хотя IBM обладает обширным опытом в области безопасности, риски, связанные с рабочими процессами генеративного ИИ, как знакомы, так и уникальны. Три основных принципа подхода IBM заключаются в защите данных, модели и их использования. Эти принципы подчеркивают необходимость безопасной инфраструктуры и управления ИИ на всех этапах.
Сридхар Муппиди, IBM Fellow и CTO в IBM Security, отметил, что основные практики безопасности данных, такие как контроль доступа и безопасность инфраструктуры, все еще имеют решающее значение для генеративного ИИ, как и для традиционных ИТ-сред.
Тем не менее, некоторые риски прямо связаны с генеративным ИИ. Например, poisoning данных включает в себя введение ложных данных в набор данных, что приводит к неточным результатам. Муппиди также отметил, что вопросы, связанные с предвзятостью и разнообразием данных, а также проблемы с изменением данных и конфиденциальностью требуют особого внимания в этой области. Кроме того, prompt injection — когда пользователи злонамеренно изменяют вывод модели с помощью промтов — представляет собой новую область риска, требующую новых средств контроля.
Ключевые концепции безопасности: MLSecOps, MLDR и AISPM
IBM Framework for Securing Generative AI представляет собой не просто единичный инструмент, а целый набор рекомендаций для защиты рабочих процессов генеративного ИИ. С развитием сферы генеративного ИИ появляются новые категории безопасности, включая Machine Learning Detection and Response (MLDR), AI Security Posture Management (AISPM) и Machine Learning Security Operations (MLSecOps). MLDR сосредотачивается на выявлении потенциальных рисков в моделях, в то время как AISPM, похожий на Cloud Security Posture Management (CSPM), акцентирует внимание на правильной конфигурации и лучших практиках для безопасных развертываний.
Муппиди объяснил: «Как DevOps эволюционировал в DevSecOps с добавлением безопасности, так и MLSecOps представляет собой комплексный подход к жизненному циклу — от проектирования до использования, интегрируя безопасность на всех уровнях».
Этот фреймворк помогает организациям более эффективно справляться с комплексностью безопасности генеративного ИИ, обеспечивая надежную защиту от новых угроз.
Рейтинг
