영국 의회 의원을 대상으로 하는 디지털 스피어 피싱 공격의 세부 조정 개념은 미션 임파서블 영화의 플롯처럼 보일 수 있지만, 이는 옥스포드 대학교의 줄리안 헤이즐이 진행한 연구에서 현실이 되었습니다. 헤이즐의 연구는 사이버 위협의 중대한 진화를 강조합니다. 우리는 이제 LLM(대형 언어 모델)이 무기로 사용되는 시대에 진입했습니다. ChatGPT-3, GPT-3.5, GPT-4와 같은 LLM이 맥락에 맞는 스피어 피싱 이메일을 생성하는 방법을 보여준 헤이즐은, 공격자가 반응을 이끌어내기 위해 전술을 신속하게 조정할 수 있는 개인화 능력의 경각심을 드러냅니다.
2023년 5월 헤이즐이 arXiv 저널에 발표한 논문에서 그는 “이 메시지는 현실적일 뿐만 아니라 비용 면에서도 효율적이며, 이메일 하나의 생성 비용은 단돈 몇 센트에 불과하다”고 언급했습니다. 이 논문은 이후 23편 이상의 추가 연구에서 인용되며 연구 커뮤니티 내에서의 인식과 우려가 높아지고 있음을 나타냅니다.
의미는 명확합니다: 악의적인 공격자, 사이버 범죄자, 국가 차원의 팀들이 이제 LLM을 정교하게 조정하여 경제적, 사회적 목표를 추구할 수 있습니다. FraudGPT와 같은 도구의 출현은 LLM이 경각심을 불러일으키는 속도로 악용될 수 있는 가능성을 보여줍니다. 연구에 따르면 GPT-4 및 Llama 2와 같은 모델이 점점 더 무기로 사용되고 있다고 합니다.
이러한 빠른 발전은 생성 AI 보안 조치를 강화할 필요성을 핵심적으로 경고합니다. OpenAI 내 최근의 혼란은 시스템 개발 생애 주기(SDLC) 전반에 걸쳐 강력한 모델 보안의 필요성을 강조합니다. 메타의 퍼플 라마와 같은 이니셔티브는 안전한 생성 AI 개발을 위한 협업을 촉진하며, LLM 제공자가 파괴적인 공격으로 이어질 수 있는 취약성을 해결하는 시급함을 강조합니다.
LLM의 무기화 접근
LLM은 매우 다재다능하여 사이버 보안에 있어 양날의 검과 같습니다. 조직은 이러한 새로운 위협에 대비해야 합니다. "BadLlama: Llama 2-Chat 13B에서 안전 기능 완화"와 같은 연구는 LLM이 쉽게 무기화될 수 있음을 나타내며, 이는 메타와 같은 조직이 마련한 안전 메커니즘을 위협합니다. BadLlama 팀은 모델 가중치에 대한 공개 액세스가 악의적인 행위자가 이러한 안전 기능을 저렴하게 우회할 수 있게 한다고 결론지었습니다.
WM Environmental Services의 최고 정보 보안 책임자(CISO)인 제리치 비슨은 생성 AI의 보안을 강조합니다. 그의 LinkedIn Learning 과정인 "조직에서 생성 AI 사용 보안 강화"는 위협 완화와 함께 안전하게 생성 AI를 활용하는 방법에 대한 통찰을 제공합니다. 비슨은 보안을 소홀히 하면 규정 위반, 법적 문제 및 브랜드 평판에 대한 심각한 피해로 이어질 수 있다고 경고합니다.
LLM의 일반적인 무기화 전술
LLM은 사이버 범죄에서 허위 정보에 이르기까지 다양한 목적으로 악의적인 행위자에 의해 점점 더 이용되고 있습니다. 주요 무기화 방법은 다음과 같습니다:
- 탈옥과 리버스 엔지니어링: 연구를 통해 공격자가 LLM의 안전 기능을 무력화할 수 있는 방법이 입증되었습니다. ReNeLLM 프레임워크는 탈옥 프롬프트를 통해 기존 방어의 불충분함을 드러냅니다.
- 피싱 및 사회 공학: 스피어 피싱 캠페인의 빠른 시뮬레이션은 목표에 도달하는 것이 얼마나 쉬운지를 강조합니다. 음성 딥페이크를 통한 강탈의 사용은 이러한 공격의 정교함이 증가하고 있음을 보여줍니다.
- 브랜드 탈취와 허위 정보: LLM은 대중의 여론을 조작하고 기업 브랜드를 재정의하며, 선전 작업을 강화하여 민주적 과정과 사회적 안정성을 위협할 수 있습니다.
- 생물학적 무기 개발: MIT 및 기타 기관의 연구는 LLM이 이중 사용 생명공학에 대한 접근을 민주화할 수 있는 방법을 조사하며, 이는 이들의 잠재적 악용에 대한 심각한 윤리적 우려를 일으킵니다.
- 사이버 스파이 및 지적 재산 도 theft: 사이버 범죄자들은 LLM을 사용하여 경영진을 가장하고 기밀 정보에 접근하여 회사에 상당한 위험을 초래합니다.
- 법적 및 윤리적 함의의 진화: 훈련 데이터와 불법 복제 LLM의 잠재적 무기화에 관한 문제는 조직이 직면한 법적 복잡성을 강조합니다.
무기화된 LLM의 위협 대응
LLM과 관련된 증가하는 위험에 대응하기 위해 세 가지 핵심 전략이 부상했습니다:
1. SDLC에서의 조기 보안 정렬: 조직은 처음부터 포괄적인 보안 조치를 통합하여 능동적으로 접근해야 합니다. 적대적 훈련 및 레드 팀 연습이 필수적입니다.
2. 향상된 모니터링 및 필터링: LLM 상호작용을 지속적으로 모니터링하는 것은 기밀 데이터 유출을 방지하는 데 중요합니다. Ericom의 생성 AI 격리와 같은 솔루션은 민감한 상호작용을 격리하여 효과적인 데이터 손실 보호를 제공합니다.
3. LLM 개발에서의 협력적 표준화: 메타의 퍼플 라마와 같은 이니셔티브는 LLM 전반에 걸쳐 더 엄격한 안전 조치를 개발하고 시행하기 위한 산업 전반의 협력을 강조합니다.
이러한 도전 과제를 이해하고 해결함으로써 조직은 무기화된 LLM의 함의를 더욱 잘 대비하고, 이 변화하는 환경에서 사이버 보안 태세를 강화할 수 있습니다.
순위 목록
