NIST의 새로운 보고서, 증가하는 AI 공격 위협에 대한 경고를 발송하다

국립표준기술연구소(NIST)는 인공지능(AI) 시스템에 대한 위협이 커지는 상황에 대비하여 긴급 보고서를 발표했습니다. 보고서 제목은 “적대적 기계 학습: 공격 및 완화의 분류와 용어”로, AI 시스템의 능력이 증가함에 따라 공격에 더욱 취약해진 이 시점에서 매우 중요한 내용을 담고 있습니다.

적대적 기계 학습(ML) 기술을 이용하면 공격자가 AI 시스템을 미세하게 조작할 수 있어, 이는 심각한 실패로 이어질 수 있습니다. 보고서는 이러한 공격 방식과 공격자의 목표, 능력, 대상 AI 시스템에 대한 지식 등에 따라 공격을 분류하고 있습니다.

NIST 보고서에 따르면, “공격자는 의도적으로 인공지능 시스템을 혼란스럽게 하거나 ‘독살’할 수 있으며, 이는 AI 개발 및 배포의 취약점을 악용하는 것입니다.” 보고서는 데이터 변조(data poisoning)와 같은 다양한 공격 유형을 설명하고 있으며, 공격자가 AI 모델 훈련에 사용되는 공개 데이터셋에 영향을 미칠 수 있음을 언급하고 있습니다.

또한, 훈련 데이터에 트리거를 주입하여 특정 잘못 분류를 유도하는 “백도어 공격(backdoor attacks)”의 심각성도 강조하고 있습니다. 보고서는 “백도어 공격은 방어하기 매우 어려운 것으로 악명높습니다.”라고 경고합니다.

AI 시스템과 관련된 개인 정보 위험도 다루어지고 있습니다. “회원 추론 공격(membership inference attacks)”과 같은 기술이 특정 데이터 샘플이 훈련에 사용되었는지 여부를 드러낼 수 있습니다. NIST는 “AI 시스템에서 잘못된 방향으로 이끌어내는 것을 방지하는 완벽한 방법은 아직 존재하지 않습니다.”라고 경고합니다.

AI가 산업을 혁신할 가능성을 지니고 있지만, 보안 전문가들은 주의의 중요성을 강조하고 있습니다. 보고서에서는 “최근 딥러닝의 발전으로 AI 챗봇은 다양한 비즈니스 애플리케이션에 강력한 기능을 발휘하고 있습니다. 그러나 이 신흥 기술은 신중하게 배포해야 합니다.”라고 설명합니다.

NIST의 목표는 AI 보안 문제에 대한 공통된 이해를 형성하는 것입니다. 이 보고서는 진화하는 위협에 대응하는 AI 보안 커뮤니티의 중요한 자원이 될 것으로 기대됩니다.

AppOmni의 수석 AI 엔지니어이자 보안 연구원인 조셉 태커(Joseph Thacker)는 “이 보고서는 내가 본 AI 보안 출판물 중 최고입니다. 깊이와 범위가 놀랍고, AI 시스템에 대한 적대적 공격에 대한 가장 종합적인 통찰을 제공합니다.”라고 언급했습니다.

전문가들이 계속해서 새로운 AI 보안 위협에 맞서 싸우고 있는 가운데, 보호를 위한 끊임없는 전투에 놓여 있는 것이 분명합니다. AI가 산업 전반에 안전하게 통합되기 위해서는 더 강력한 방어가 필수적이며, 그 위험은 간과할 수 없을 정도로 큽니다.

Most people like

Find AI tools in YBX