데이터 과학자, AI 엔지니어, 사이버 보안 전문가가 개발 과정에서 AI 시스템의 보안을 확립하지 못하면 상당한 재정적, 평판적, 운영적 손실을 초래할 위험이 있습니다. 그러면 이들은 어떻게 조직을 보호하고 잠재적인 부작용을 완화할 수 있을까요?
사이버 보안 전문가가 해결해야 할 일반적인 위협
데이터셋 오염은 중요한 보안 도전 과제로, 종종 탐지가 어렵습니다. 공격자가 몇 개의 데이터 소스를 잘못된 정보로 오염시키면 AI 모델의 학습 과정이 저해될 수 있습니다.
프롬프트 인젝션은 AI 시스템 개발에서 또 다른 주요 위협입니다. 이 경우, 공격자는 모델의 출력을 탈취하여 의도하지 않은 행동을 유도합니다. 연구에 따르면 이러한 공격은 무려 97.2%의 성공률을 보이며 악의적인 행위자가 모델을 이용해 훈련 데이터에 접근하고 무단 행동을 촉발할 수 있습니다.
특히 파괴적인 프롬프트 인젝션 변종인 프롬프트 추출은 공격자가 AI 시스템의 기본 규칙을 유출하도록 조작하여 민감한 데이터에 접근할 위험이 있습니다.
모델 역추적에서는 공격자가 모델의 출력을 역설계하여 훈련 데이터셋을 추출할 수 있어 기밀 정보가 노출될 위험이 있습니다. 이는 조직의 평판에 큰 타격을 줄 수 있습니다.
타격을 입은 AI 시스템의 영향
AI 시스템이 타격을 받으면 조직의 전체 보안 체계가 위태로워집니다. 이 위험을 인식한 결과, 약 60%의 기업이 AI 관련 사이버 보안 위협을 완화하기 위해 적극적으로 조치를 취하고 있습니다.
성공적인 공격은 연결된 구성 요소의 손상 및 저장 시스템에 대한 무단 접근을 초래할 수 있습니다. 궁극적인 목표는 종종 민감한 정보, 지적 재산권 또는 훈련 데이터셋에서 개인 식별 정보를 훔치는 것입니다.
도난당한 데이터의 결과는 산업에 따라 다르지만 법적 조치, 규제 감시, 공공 반발을 초래할 수 있으며, 재정적 손실이 발생하는 경우가 많습니다.
개발 전 보안 고려 사항
사이버 보안 전문가는 AI 시스템을 설계할 때 몇 가지 주요 보안 고려 사항을 염두에 두어야 합니다. 데이터셋 선택은 중요하며, 오염 및 변조 공격은 초기 개발 과정에서 모델을 심각하게 손상시킬 수 있습니다.
사전 훈련된 모델을 사용할 때도 데이터셋의 무결성을 보장하는 것이 중요합니다. 원본 데이터셋은 취약점을 내포할 수 있기 때문입니다. 제3자 모델 개발자를 의뢰할 경우, 그들의 신뢰성을 검토해야 하며, 부주의나 악의적인 의도가 취약점을 초래할 수 있습니다.
AI 시스템 개발을 위한 주요 보안 단계
데이터 과학자는 알고리즘 매개변수를 지속적으로 업데이트해야 하며, 소홀히 하면 보안 약점이 발생할 수 있습니다. AI의 블랙 박스 특성은 오염 지표(IOC) 식별을 어렵게 하여 데이터셋 오염이나 변조를 탐지하기 까다롭게 만듭니다.
대부분의 공격은 외부 위협 행위자에 의해 발생하지만, 내부 인적 오류가 사이버 보안 사건의 95%를 차지합니다. AI 시스템 개발 과정에서 물리적 및 디지털 위협 모두에 대한 경계가 필요합니다.
부적절한 개발의 결과
AI 시스템 배포 전에 침해 지표를 식별하지 못하면 지속적이고 설명할 수 없는 사이버 위협이 발생할 수 있습니다. 엔지니어는 불완전한 개발이 잠재적으로 미치는 보안 영향을 평가해야 하며, 간과된 취약점은 의도치 않은 모델 행동 및 데이터 유출을 초래하여 조직의 보안 태세를 저하시킬 수 있습니다.
개발 중 AI 시스템 보호 전략
사이버 보안 전문가, 데이터 과학자 및 AI 엔지니어 간의 협력이 개발 중 취약점을 최소화하는 데 필수적입니다. 효과적인 정보 공유는 위협 완화 노력을 강화하고 잠재적 문제를 조기에 탐지하는 데 도움을 줍니다.
제한 사항을 도입하면 시스템의 악용을 방지하는 추가 보호층이 됩니다. 또한, 모델의 설명 가능성을 활용하면 IOC를 인식하는 데 도움이 되어 데이터셋 오염이나 프롬프트 인젝션 시도에 더 빠르게 대응할 수 있습니다.
AI 시스템에 대한 정기적인 감사와 사이버 보안 전문가와의 협력은 필수적인 모범 사례로, 철저한 테스트를 통해 취약점을 신속히 식별하고 제거할 수 있습니다.
AI 시스템에 대한 기준선을 설정하면 타격을 받을 경우 롤백 옵션이 제공되며, 장기적인 사건 대응 과정 없이 모델을 보호할 수 있습니다.
AI 시스템 개발을 위한 기본 가이드라인
여러 규제 기관은 안전한 AI 개발에 대한 지침을 발표했습니다. 특히, 미국, 캐나다, 영국은 호주, 이스라엘, 한국을 포함한 여러 국가의 기관과 협력하여 AI 보안 및 책임 있는 개발에 관한 20페이지 분량의 문서를 제작했습니다.
Cybersecurity and Infrastructure Security Agency (CISA)와 National Cyber Security Center (NCSC)와 같은 기관이 이 지침에 기여하여 개발 단계에서의 위험을 줄이고 모범 사례와 개발자의 책임을 설명했습니다.
위협 완화를 위한 적극적인 조치
사이버 보안 전문가는 개발 중 AI 시스템의 잠재적 취약점을 적극적으로 모니터링해야 합니다. 적극적인 조치는 위협을 효과적으로 해결하고 긍정적인 비즈니스 결과를 달성할 가능성을 높입니다.
순위 목록
