왜 적대적 인공지능이 보안 시스템을 붕괴시킬 마찰적인 사이버 위협인지

보안 리더들: AI 및 MLOps 보안에서 의도와 행동 간의 격차를 해소하기

최근 보고서에 따르면, 보안 리더들의 의도와 AI 및 MLOps 시스템 보호를 위한 행동 간에 심각한 괴리가 존재합니다. 97%의 IT 리더가 AI 보안의 중요성을 강조하는 반면, 필요한 자금 확보에 자신감을 가진 사람은 61%에 불과합니다. alarmingly하게도, 77%의 리더가 AI 관련 보안 breaches를 경험했지만, 오직 30%만이 MLOps 파이프라인을 포함한 AI 개발 과정에서 적대적 공격에 대한 수동 방어를 시행하고 있습니다. 단지 14%의 조직만이 AI 에이전트 공격에 대비하고 있으며, AI 모델에 대한 의존도가 계속 증가하고 있어 적대적 AI 위협의 주요 목표가 되고 있습니다. 평균적으로 조직은 1689개의 AI 모델을 운영 중이며, 98%의 리더는 일부 모델이 성공에 필수적이라고 고려하고 있습니다. 게다가, 83%는 팀 전반에서 AI를 광범위하게 사용하고 있어 안전한 관행의 필요성이 절실합니다. "업계는 적절한 보안 조치가 마련되지 않은 상태에서 AI 도입을 가속화하고 있다"고 보고서의 분석가들은 지적합니다.

적대적 AI 이해하기

적대적 AI는 AI 및 기계 학습(ML) 시스템을 고의로 잘못 인도하여 의도한 목적에 대한 효과를 저하시킵니다. 이러한 조작은 AI 기술을 이용해 약점을 악용하는 방식으로, 숙련된 체스 선수가 상대의 약점을 노리는 것과 유사합니다. 전통적인 사이버 방어는 이러한 정교한 공격을 탐지하는데 어려움을 겪습니다.

HiddenLayer의 보고서는 적대적 AI를 세 가지 주요 유형으로 분류합니다:

1. 적대적 기계 학습 공격: 알고리즘의 취약점을 악용하여 AI 애플리케이션의 동작을 변경하거나 탐지 시스템을 회피하고, 독점 기술을 탈취하는 공격입니다. 국가 단위에서의 간첩 행위가 정치적 및 재정적 이득을 위한 경우가 많으며, 불법적인 목적으로 모델을 역설계하기도 합니다.

2. 생성적 AI 시스템 공격: 공격자들은 생성적 AI와 관련된 데이터 출처 및 대규모 언어 모델(LLM)을 겨냥합니다. 이러한 공격에서 사용되는 기술은 콘텐츠 제한을 우회하여 딥페이크 및 허위정보와 같은 금지된 자료를 생성하게 합니다. 미국 정보 커뮤니티의 2024년 연례 위협 평가에서는 중국이 민주적 절차에 영향을 미치기 위해 생성적 AI를 정교하게 활용하고 있다고 강조하고 있습니다.

3. MLOps 및 소프트웨어 공급망 공격: 일반적으로 국가나 조직 범죄 단체에 의해 자행되는 이 공격은 AI 시스템 개발에 필수적인 프레임워크와 플랫폼을 방해하는 것을 목표로 합니다. 전략에는 MLOps 파이프라인 구성 요소를 손상시켜 악성 코드나 오염된 데이터셋을 도입하는 것이 포함됩니다.

적대적 AI 공격에 대한 방어 전략 네 가지

DevOps 및 CI/CD 파이프라인의 격차가 클수록 AI 및 ML 모델 개발은 취약해집니다. 모델 보호는 생성적 AI 무기화의 증가로 인해 지속적으로 도전 과제가 되고 있습니다. 다음은 조직이 취할 수 있는 네 가지 선제적 조치입니다:

1. 레드 팀핑 및 위험 평가 도입: 레드 팀핑을 조직의 DevSecOps 프레임워크의 핵심 관행으로 만들어야 합니다. 시스템의 취약점을 정기적으로 평가하면 MLOps 시스템 개발 생애 주기(SDLC) 전반에 걸쳐 공격 벡터에 대한 조기 식별 및 보강이 가능합니다.

2. 효과적인 방어 프레임워크 채택: AI 보안에 관련된 다양한 방어 프레임워크에 대한 정보를 지속적으로 습득합니다. NIST AI 리스크 관리 프레임워크나 OWASP AI 보안 및 프라이버시 가이드와 같은 프레임워크 중 조직의 목표에 가장 잘 맞는 것을 평가할 DevSecOps 팀원을 지정합니다.

3. 생체 인식 및 패스워드 없는 인증 통합: 합성 데이터 기반 공격에 대응하기 위해 생체 인식 방식과 패스워드 없는 인증을 아이디 접근 관리 시스템에 통합합니다. 얼굴 인식, 지문 스캔, 음성 인식의 조합을 활용하면 위조 위협으로부터의 보안을 강화할 수 있습니다.

4. 정기적인 감사 및 업데이트 수행: 검증 시스템을 자주 감사하고 접근 권한을 최신으로 유지합니다. 합성 신원 공격이 증가하는 가운데, 검증 과정이 최신이며 정기적으로 패치되는 것이 효과적인 방어를 위해 필수적입니다.

이러한 전략을 통해 조직은 지속적으로 진화하는 적대적 AI 위협에 대한 보안 태세를 강화할 수 있습니다.