기업들은 인공지능(AI)과 머신러닝(ML) 도구에 점점 더 의존하고 있으며, 이로 인해 거래량이 약 600% 급증했습니다. 2023년 4월 5억 2,100만 건에서 2024년 1월 31억 건으로 증가했습니다. 보안 우려가 높아짐에 따라, 조직들은 모든 AI/ML 거래의 18.5%를 차단했으며, 이는 9개월 사이에 무려 577% 증가한 수치입니다.
CISO와 그들이 보호하는 조직들은 신중한 접근 방식에 정당한 이유가 있으며, 이로 인해 AI/ML 거래 차단이 전례 없는 수준에 이르게 되었습니다. 공격자들은 대형 언어 모델(LLM)을 무기화하여 조직에 침투하는 방법을 적응해왔습니다. 적대적 AI의 증가는 종종 간과되는 새로운 위협을 나타냅니다.
Zscaler의 2024 AI 보안 보고서에 따르면, 기업들은 확장되는 AI/ML 도구를 보호하기 위해 확장 가능한 사이버 보안 전략을 채택해야 합니다. 보고서에서 강조된 주요 이슈는 데이터 보호, AI 데이터 품질 관리 및 프라이버시 우려입니다. 2023년 4월부터 2024년 1월까지 180억 건 이상의 거래를 분석한 ThreatLabz는 다양한 산업에서의 AI 및 ML 도구 사용 현황을 조사했습니다.
의료, 금융, 보험, 서비스, 기술 및 제조 산업은 AI/ML 도구의 채택이 두드러지며 사이버 공격에 대한 취약성이 증가하고 있습니다. 제조업은 AI 트래픽의 최다 생성 부문으로, 거래의 20.9%를 차지하며, 그 뒤를 금융과 보험이 19.9%, 서비스가 16.8%로 잇습니다.
거래 차단은 단기적으로 신속한 대응 방식입니다.
CISO와 그 팀은 잠재적인 사이버 공격으로부터 보호하기 위해 기록적인 수의 AI/ML 거래를 차단하고 있습니다. 이 선제적 조치는 고위험 부문을 사이버 위협으로부터 안전하게 지키기 위한 것입니다. 현재 ChatGPT는 가장 많이 사용되면서 차단된 AI 도구이며, OpenAI, Fraud.net, Forethought, Hugging Face가 뒤를 잇고 있습니다. 차단된 주요 도메인으로는 Bing.com, Divo.ai, Drift.com, Quillbot.com이 포함됩니다. 2023년 4월부터 2024년 1월까지 기업들은 26억 건 이상의 거래를 차단했습니다.
제조업은 AI 거래의 15.65%만 차단하는데, 이는 사이버 공격, 특히 랜섬웨어에 취약한 점을 고려할 때 낮은 수치입니다. 반대로 금융 및 보험 부문은 37.16%의 거래를 차단하여 데이터 보안과 프라이버시 우려를 강화하고 있습니다. 우려스러운 점은 의료 산업이 AI 거래의 17.23%만 차단하고 있어 민감한 데이터 보호에 대한 의문을 불러일으킵니다.
의료 및 제조와 같은 주요 부문에서의 중단은 상당한 랜섬웨어 피해로 이어질 수 있습니다. 최근의 유나이티드 헬스케어 랜섬웨어 공격은 조율된 공격이 전체 공급망을 무력화할 수 있음을 보여줍니다.
차단은 더 큰 도전에 대한 단기 해결책입니다.
조직들은 단지 차단하는 것을 넘어, 진화된 사이버 보안 플랫폼의 텔레메트리 기능을 활용해야 합니다. CrowdStrike, Palo Alto Networks, Zscaler 등은 텔레메트리 데이터에서 파생된 통찰력을 강조하고 있습니다. CrowdStrike의 CEO 조지 커츠는 다양한 엔드포인트에서 약한 신호를 연결하여 탐지 능력을 향상시키는 것의 중요성을 강조했습니다. 이 접근법은 제3자 협력 관계로도 확장되어 더 깊은 통찰력과 신기술 탐지를 가능하게 합니다.
AI와 머신러닝(ML) 분야에서 광범위한 경험을 가진 주요 사이버 보안 공급업체로는 Blackberry Persona, Broadcom, Cisco Security, CrowdStrike, CyberArk, Cybereason, Ivanti, SentinelOne, Microsoft, McAfee, Sophos, VMware Carbon Black 등이 있습니다. 이들 기업은 공격자들이 사용하는 정교한 방법과 일치하도록 AI 기반 공격 데이터를 활용해 LLM을 훈련할 가능성이 높습니다.
새로운 치명적인 AI 위협 환경이 등장했습니다.
Zscaler의 보고서에 따르면, AI 기반 위험은 두 가지 주요 영역으로 분류됩니다: 기업 AI 도구와 관련된 데이터 보호 및 보안 위험, 그리고 생성형 AI와 자동화에 의해 촉발된 새로운 사이버 위협 환경입니다. CISO는 보고서에 명시된 다양한 AI 공격 기법에 대해 방어하는 데 어려움을 겪고 있습니다. ChatGPT 사용 시 직원의 태만을 다루고 기밀 데이터가 우발적으로 공유되지 않도록 하는 것이 중요한 이사회 차원의 논의가 되어야 합니다. 위험 관리의 우선순위 설정은 견고한 사이버 보안 전략에 필수적입니다.
지적 재산을 ChatGPT를 통해 유출 방지하고, 그림자 AI를 통제하며, 데이터 프라이버시와 보안을 확보하는 것은 성공적인 AI/ML 전략의 핵심입니다. 지난해, National Oilwell Varco(NOV)의 CIO인 알렉스 필립스는 자신의 이사회에 생성형 AI에 대한 통찰을 공유하며 ChatGPT의 장점과 위험성을 모두 이해하는 것이 중요하다고 강조했습니다. 필립스는 생성형 AI 기술의 발전에 대해 정기적으로 이사회를 업데이트하며 상당한 위반을 방지하기 위한 보안 조치를 예측할 수 있도록 합니다.
생산성과 보안 간의 균형을 이루는 것은 새로운 AI 위협 환경의 도전을 극복하는데 매우 중요합니다. Zscaler의 CEO는 공격자가 자신을 사칭해 WhatsApp 메시지로 임직원에게 민감한 정보를 요구하는 피싱 및 스미싱 시도를 당했습니다. 다행히 Zscaler의 시스템은 공격을 저지했습니다. 이는 고위 임원과 기술 리더를 대상으로 하는 증가하는 추세를 나타냅니다.
공격자들은 AI를 활용해 빠르게 랜섬웨어 공격을 조율하고 있습니다. Zscaler는 AI 기반 랜섬웨어가 국가 행위자의 무기고에 포함되며 그 빈도가 증가하고 있다고 보고합니다. 생성형 AI를 사용하여 공격자들은 조직의 방화벽 및 VPN과 관련된 취약점에 대한 포괄적인 테이블을 만듭니다. 이러한 정보는 코드 공격을 최적화하고 특정 환경에 맞춘 페이로드를 제작할 수 있게 합니다.
또한 Zscaler는 생성형 AI가 기업 공급망 내의 약점을 식별하고 핵심 네트워크에 대한 최적의 연결 경로를 드러낼 수 있음을 강조합니다. 강력한 보안 조치가 마련되어 있을 때에도, 하위의 취약점이 가장 큰 위험 요소로 자리할 수 있습니다. 공격자들은 생성형 AI를 사용하여 자신들의 전술을 끊임없이 다듬어 가며, 점점 더 정교하고 목표가 분명한 공격을 전개하는 데 어려움을 겪고 있습니다.
결국, 적대자들은 랜섬웨어 공격 체인 전반에 걸쳐 생성형 AI를 통합하여 정찰 및 코드 악용을 자동화하고 첨단 다형성 맬웨어 및 랜섬웨어를 생성하는 것을 목표로 하고 있습니다. 공격 과정의 중요한 요소를 간소화함으로써 위협 행위자들은 기업에 대한 더 빠르고 목표 지향적이며 정교한 공격을 수행할 수 있게 됩니다.