Наивность Больших Языковых Моделей в Кибербезопасности
Несмотря на свою сложность, большие языковые модели (БЯМ) часто демонстрируют удивительную наивность в вопросах кибербезопасности. С помощью умелых подсказок они могут непреднамеренно раскрыть конфиденциальную информацию, сгенерировать вредоносный код или создать предвзятые результаты, что вызывает серьезные этические вопросы.
Элад Шульман, соучредитель и генеральный директор Lasso Security, подчеркивает эту опасность: «Несмотря на мощность, БЯМ нельзя доверять без критического анализа. Их продвинутые возможности делают их уязвимыми для множества угроз безопасности». Компания Lasso Security, недавно запустившаяся с 6 миллионами долларов начального финансирования от Entrée Capital и Samsung Next, ставит своей целью устранение этих проблем. «Революция БЯМ может превзойти как облачные, так и интернет-революции вместе взятые. Значительные достижения сопряжены с существенными рисками».
Проблемы безопасности: выборочное использование, утечки данных и отравление
БЯМ быстро стали необходимыми для бизнеса, стремящегося к конкурентным преимуществам. Однако их разговорный и неструктурированный характер делает их легкими мишенями для эксплуатации. Манипулируя подсказками с помощью методов вроде инъекции подсказок или jailbreak, эти модели могут раскрывать свои тренировочные данные и конфиденциальную информацию организаций.
Риски не ограничиваются намеренными атаками. Неправомерное использование сотрудниками, как это произошло с решением Samsung запретить генеративные ИИ-инструменты после утечек данных, подчеркивает потенциальную возможность случайных утечек. Шульман отмечает: «Поскольку контент, созданный БЯМ, может зависеть от входных подсказок, пользователи могут получить непреднамеренный доступ к дополнительным функциям модели».
Отравление данных представляет собой другую серьезную проблему; поддельные тренировочные данные могут ввести предвзятости, угрожающие безопасности и этическим стандартам. Кроме того, недостаточная валидация выходных данных БЯМ может приводить к критическим уязвимостям. Согласно OWASP, не контролируемые выходные данные могут подвергать системы серьезным угрозам, таким как межсайтовый скриптинг (XSS), межсайтовая подделка запросов (CSRF) и удаленное выполнение кода.
OWASP также выделяет дополнительные угрозы, такие как атаки на отказ в обслуживании моделей, когда злоумышленники перегружают БЯМ запросами, вызывая сбои в обслуживании, а также уязвимости, возникающие из-за сторонних компонентов в цепочке программного обеспечения.
Осторожность в зависимости
Эксперты подчеркивают опасности полагания исключительно на БЯМ для получения информации, что может привести к дезинформации и нарушениям безопасности. Например, в процессе, известном как «галлюцинация пакета», разработчик может попросить БЯМ предложить конкретный кодовый пакет, получая потенциально вымышленную рекомендацию. Затем злоумышленники могут создать вредоносный код, используя эту галлюцинацию, что предоставит им доступ к системам компании.
«Это злоупотребление эксплуатирует доверие, которое разработчики возлагают на рекомендации ИИ», — предупреждает Шульман.
Мониторинг взаимодействий с БЯМ для обеспечения безопасности
Технология Lasso перехватывает взаимодействия между сотрудниками и БЯМ, такими как Bard и ChatGPT, а также интеграции с инструментами, такими как Grammarly и плагины IDE. Создавая уровень наблюдаемости, Lasso фиксирует и анализирует данные, отправляемые к и от БЯМ, используя продвинутые методы обнаружения угроз для выявления аномалий.
Шульман советует организациям сначала определить, какие инструменты БЯМ используются, а затем проанализировать их применение и цели. «Эти действия приведут к важным дискуссиям о необходимых мерах защиты», — утверждает он.
Ключевые особенности Lasso Security
- Обнаружение теневого ИИ: выявление активных инструментов, пользователей и сведений.
- Мониторинг потока данных БЯМ: отслеживание и регистрация всех передач данных в организацию и из нее.
- Обнаружение и оповещение в реальном времени: немедленные данные о потенциальных угрозах.
- Блокировка и защита: обеспечение соответствия всех подсказок и сгенерированных выходных данных политике безопасности.
- Удобная панель управления: упрощение мониторинга и управления взаимодействиями с БЯМ.
Безопасное использование технологий
Lasso выделяется тем, что предлагает комплексный набор инструментов, ориентированных именно на безопасность БЯМ, а не на одну функцию. Шульман отмечает: «Команды по безопасности получают контроль над каждым взаимодействием с БЯМ, что позволяет им создавать и применять индивидуализированные политики».
Организациям необходимо безопасно воспринимать технологии БЯМ, так как полные запреты являются неустойчивыми. «Без стратегии управления рисками компании, не осваивающие генеративный ИИ, окажутся в невыгодном положении», — объясняет Шульман. В конечном итоге Lasso стремится предоставить необходимые инструменты безопасности для организаций, чтобы они могли использовать передовые технологии, не ставя под угрозу свою безопасность.
Рейтинг
