ASCII 아트로 내부 AI 챗봇 해킹의 위협: 보안팀의 최악의 악몽

내부 위협: AI 챗봇의 위험

내부 위협은 기업의 핵심 시스템과 자산을 위협하는 가장 심각한 사이버 공격 유형 중 하나입니다. 기업들이 내부 및 고객을 위한 AI 챗봇을 빠르게 배포함에 따라 새로운 공격 벡터와 위험이 발생하고 있습니다.

AI 챗봇의 취약성

"ArtPrompt: ASCII 아트 기반의 탈옥 공격"이라는 제목의 최근 연구에 따르면, AI 시스템은 취약합니다. 연구진은 OpenAI의 ChatGPT-3.5, GPT-4, Gemini, Claude, Meta의 Llama2 등 최신 대규모 언어 모델(LLM) 5종을 ASCII 아트를 사용해 탈옥하는 데 성공했습니다.

ArtPrompt는 LLM이 ASCII 아트를 해석하는 데 어려움을 겪는 점을 악용하여 보안 조치를 우회할 수 있게 합니다. 특히, 이 공격은 타겟 LLM에 대한 제한된 접근으로도 실행할 수 있으며, 성공적인 탈옥을 위해 훨씬 적은 시도를 필요로 합니다.

ASCII 아트 취약성 이해하기

LLM은 의미 해석에 강하지만 복잡한 공간적 및 시각적 인식에는 어려움을 겪습니다. 연구자들은 ASCII 아트가 탈옥에 효과적인 이유를 검증하기 위해 Vision-in-Text Challenge(VITC)를 설계했습니다. 이 벤치마크는 두 가지 고유 데이터 세트를 통해 LLM이 ASCII 아트를 인식하는 능력을 평가합니다.

- VITC-S는 ASCII 아트의 단일 문자를 강조하며, 36개 클래스의 8,424개 샘플로 LLM의 인식 능력을 도전합니다.

- VITC-L은 800개 클래스에서 10가지 고유한 글꼴로 문자의 시퀀스를 포함하여 복잡성을 증가시킵니다.

VITC-S에서 VITC-L로의 경과는 ASCII 아트 해석에 대한 LLM의 한계를 효과적으로 강조합니다.

ArtPrompt는 안전 단어를 숨기기 위해 ASCII 텍스트를 활용하는 두 단계의 공격 전략을 사용합니다. 첫 번째 단계에서는 "폭탄"과 같은 안전 단어를 드러내고, 두 번째 단계에서는 ASCII 아트로 이를 은폐합니다. 이 방법은 다섯 가지 최신 LLM에서 효과가 입증되었습니다.

내부 AI 챗봇의 증가

기업들은 생산성, 비용 효율성, 수익 증가를 추구하며 내부 및 고객 지향 AI 챗봇의 배포를 가속화하고 있습니다. Boston Consulting Group(BCG) 보고서에 따르면, 상위 10%의 기업들은 생성적 AI 애플리케이션을 완전히 통합하고 있으며, 44%가 대규모 예측 AI로부터 상당한 수익을 얻고 있습니다. 특히 이러한 고성능 조직의 3분의 2는 아마존이나 구글 같은 디지털 네이티브에 국한되지 않고 생명과학, 에너지, 보험 등의 분야에서 활발히 활동하고 있습니다.

예를 들어, 미국의 한 에너지 회사는 최전선 기술자를 위한 생성적 AI 기반 대화 플랫폼을 구현하여 생산성을 7% 향상시켰습니다. 한편, 바이오 제약 회사는 생성적 AI를 활용해 약물 발견 기간을 25% 단축했습니다.

내부 챗봇 보안 도전 과제

증가하는 내부 챗봇은 상당한 공격 표면을 형성하고 있으며, 보안 조치가 이를 따라잡기 어려운 상태입니다. 한 주요 금융 서비스 회사의 CISO는 이러한 챗봇이 사용자 오류와 부주의로부터 회복할 수 있도록 설계되어야 하며, 공격에 대한 방어도 강화되어야 한다고 강조했습니다.

Ponemon Institute의 2023년 내부 위험 비용 보고서는 클라우드 구성 및 AI 챗봇을 포함한 핵심 시스템에 대한 강력한 보안 조치의 필요성을 강조합니다. 공격 완화 비용은 사건 당 평균 720만 달러에 달하며, 부주의가 내부 보안 위반의 55%를 차지합니다.

진화하는 방어 전략

ASCII 아트 공격을 해결하기 위해서는 잘못된 긍정 및 부정을 최소화하는 반복적인 개선이 필요합니다. 탐지 방법이 발전하면 공격자도 적응하여 LLM의 한계를 끊임없이 시험할 것입니다. 전문가들은 ASCII 아트 인식을 위한 기계 학습 기반의 다중 모드 방어 전략과 지속적인 모니터링을 권장합니다.

Cisco, Ericom Security, Menlo Security, Nightfall AI, Wiz 및 Zscaler와 같은 사이버 보안 공급업체들은 ChatGPT 세션 동안 기밀 데이터를 보호하기 위한 방법을 개발하고 있습니다. Zscaler는 다음과 같은 다섯 단계 접근 방식을 권장합니다:

1. 위험을 관리하기 위해 최소한의 생성적 AI 및 머신 러닝 애플리케이션 세트를 정의합니다.

2. 내부 챗봇 및 애플리케이션의 확장 사용을 승인합니다.

3. 안전한 환경에서 ChatGPT를 위한 개인 서버 인스턴스를 생성합니다.

4. 견고한 다중 인증(MFA)을 갖춘 단일 로그인(SSO)을 구현합니다.

5. 데이터 유출 방지를 위한 데이터 손실 방지(DLP) 프로토콜을 시행합니다.

Ericom의 수석 제품 마케팅 매니저는 생성적 AI 도구에 대한 접근을 격리하면 직원들이 시간을 절약하는 자원을 활용하면서 민감한 정보를 보호할 수 있다고 언급했습니다. ASCII 아트의 복잡한 특성을 고려할 때 이러한 공격에 효과적으로 방어하는 것이 챗봇과 지원 LLM에 필수적입니다. 연구자들이 강조한 바와 같이, 다중 모드 방어 전략은 진화하는 위협을 완화하는 데 중요합니다.