Новый отчет NIST вызывает опасения по поводу нарастающей угрозы атак с использованием ИИ.

Национальный институт стандартов и технологий (NIST) срочно выпустил отчет, посвященный растущим угрозам для систем искусственного интеллекта (ИИ). Документ под названием «Аналитика противодействующего машинного обучения: таксономия и терминология атак и мер защиты» выходит в критический момент, когда ИИ становится все более мощным, но также уязвимым для атак.

Техники противодействующего машинного обучения (ML) позволяют злоумышленникам тонко манипулировать системами ИИ, что может привести к катастрофическим сбоям. В отчете описываются методы этих атак, классифицированные по целям, возможностям и знаниям злоумышленников о целевой системе ИИ.

Согласно отчету NIST, «злоумышленники могут преднамеренно дезориентировать или даже "отравлять" системы искусственного интеллекта, чтобы вызвать их сбои», используя уязвимости в разработке и развертывании ИИ.

Отчет обсуждает различные типы атак, включая «отравление данных», при котором противники изменяют данные, используемые для обучения моделей ИИ. Указано, что «недавние работы показывают, что отравление может быть orchestrated в масштабах, позволяя даже недорогим противникам влиять на публичные наборы данных, используемые для обучения моделей».

Еще одной серьезной проблемой являются «атаки с бэкдорами», которые предполагают внедрение триггеров в обучающие данные для вызова конкретных ошибок классификации. В отчете отмечается, что «атаки с бэкдорами notoriously сложно защищать».

Кроме того, в документе рассматриваются риски конфиденциальности, связанные с системами ИИ. Техники такие как «атаки на проверку членства» могут выявлять, использовался ли конкретный образец данных в обучении. NIST предупреждает: «На данный момент не существует надежного способа предотвращения ошибок в системах ИИ».

Хотя ИИ имеет потенциал для революции в отраслях, эксперты по безопасности подчеркивают важность осторожности. В отчете говорится: «Чат-боты на основе ИИ, поддерживаемые недавними достижениями в глубоком обучении, представляют собой мощные возможности для различных бизнес-приложений. Однако эту новую технологию необходимо внедрять с большой осторожностью».

Цель NIST — создать общее понимание проблем безопасности ИИ. Этот отчет, вероятно, станет важным ресурсом для сообщества по безопасности ИИ, сталкивающегося с этими развивающимися угрозами.

Джозеф Такер, главный инженер ИИ и исследователь безопасности в AppOmni, отметил: «Это лучшее издание по безопасности ИИ, которое я когда-либо видел. Глубина и охват материалов впечатляют; оно предоставляет самые полные материалы о противодействующих атаках на системы ИИ, с которыми я сталкивался».

По мере того как эксперты продолжают противостоять возникающим угрозам безопасности ИИ, очевидно, что мы находимся в бесконечной борьбе за защиту. Более сильные меры защиты необходимы, прежде чем ИИ можно будет безопасно интегрировать в различные отрасли, поскольку риски слишком велики, чтобы их игнорировать.