생성형 AI 오디오 재킹이 실시간 오디오 거래를 왜곡하는 방법

대화형 AI 모델을 이용한 오디오 해킹 공격의 위협

대화형 AI 모델(LLMs)의 발전은 새롭고 심각한 위협, 즉 민감한 은행 계좌 정보와 관련된 거래의 오디오 해킹을 초래했습니다. 사이버 범죄자들은 LLM을 이용해 정교한 피싱 계획을 실행하고, 사회 공학 공격을 조직하며, 고급 랜섬웨어 변종을 개발하고 있습니다.

IBM의 위협 인텔리전스 팀은 LLM 공격의 개념을 발전시켜 실시간 대화를 하이재킹하고, 정당한 금융 정보를 불법 지시로 대체하는 데 성공했습니다. 주목할 만한 점은 단 3초의 녹음된 목소리로도 LLM을 훈련시킬 수 있는 데이터가 충분히 수집되어 IBM이 "무섭게 간단하다"고 표현한 증거 개념(POC) 공격을 수행할 수 있었던 것입니다.

오디오 해킹: 혁신적인 위협

오디오 해킹은 사이버 범죄자들이 실시간 대화를 몰래 가로채고 조작할 수 있게 해주는 AI 기반 공격입니다. IBM 연구진은 LLM을 효과적으로 재훈련시키며, 진행 중인 금융 논의를 실시간으로 변경할 수 있는 능력을 입증했습니다. 피해자들은 자신의 거래가 compromised되었다는 사실을 인식하지 못했습니다. 실험 중에는 정당한 대화의 외피를 유지하며 자금을 가짜 계좌로 전환했습니다.

키워드 교체: 공격의 메커니즘

오디오 해킹의 핵심은 대화 내에서 특정 키워드를 식별하고 교체하는 능력입니다. 연구진은 "은행 계좌"라는 문구에 주목했습니다. IBM Security의 위협 인텔리전스 수석 건축가인 Chenta Lee는 "LLM에게 언급된 은행 계좌 번호를 가짜 번호로 교체하도록 지시했습니다. 이를 통해 공격자는 복제된 목소리를 사용해 대화를 감지되지 않게 수정하고, 참가자들을 모르는 인형으로 만들 수 있습니다."라고 설명했습니다.

Lee는 POC 구축이 놀랍도록 간단하다고 강조했습니다. 작업의 상당 부분은 오디오를 효과적으로 캡처하고 생성 AI를 통해 라우팅하는 데 할애되었습니다. 현대 LLM은 대화 의미를 이해하고 적응하는 것을 용이하게 합니다.

공격 기술과 취약점

LLM에 접근할 수 있는 모든 장치는 오디오 해킹 공격을 시작할 수 있습니다. IBM은 이러한 공격을 "침묵"으로 특성화하며, 피해자의 장치에 악성코드를 설치하거나 손상된 VoIP 서비스를 활용하는 등의 다양한 방법을 지적했습니다. 위협 행위자는 심지어 두 피해자를 대화에 참여시켜 다른 계획을 추진할 수도 있지만, 이는 고급 사회 공학 기술을 요구합니다.

오디오 해킹 프레임워크 이해하기

IBM은 POC에서 중간자 공격 방식을 채택하여 실시간 대화를 감시하고 영향력을 행사할 수 있었습니다. 음성을 텍스트로 변환함으로써 LLM은 대화의 맥락을 해석하고 "은행 계좌"라는 용어가 포함된 문장을 수정했습니다. 변화가 발생할 때, 텍스트 음성 변환 기술과 사전 클론된 음성이 사용되어 변경 사항이 자연스럽게 대화에 통합되었습니다.

오디오 해킹 위협에 대한 방어

IBM의 연구 결과는 사회 공학 공격에 대한 높은 인식의 필요성을 강조합니다. 단 3초의 목소리로도 보안이 위협받을 수 있기 때문입니다.

오디오 해킹을 방지하기 위한 전략은 다음과 같습니다:

1. 내용 바꾸기 및 확인: 중요한 정보를 항상 바꾸어 말하고 확인합니다. 금융 논의가 비정상적이거나 이전의 교환에 익숙하지 않다면 경계해야 합니다.

2. 발전하는 탐지 기술: 딥페이크를 탐지하는 기술이 빠르게 발전하고 있습니다. 다양한 분야에 영향을 미치는 딥페이크의 달래 기법에 대응하기 위한 혁신이 기대됩니다.

3. 모범 사례 준수: 전통적인 보안 조치는 여전히 중요합니다. 공격자는 사용자 장치를 목표로 하여 피싱과 자격 증명 악용을 사용합니다. 이러한 위협에 대응하기 위해 기본적인 관행을 채택하세요: 의심스러운 링크를 피하고, 소프트웨어를 정기적으로 업데이트하며, 강력한 비밀번호 관리를 유지합니다.

4. 신뢰할 수 있는 장치 및 서비스 사용: 안전한 장치와 신뢰할 수 있는 온라인 서비스를 활용하여 조직을 보호합니다. 잠재적인 침해를 가정하고, 접근 제어를 엄격하게 시행하여 민감한 정보를 보호하는 제로 트러스트 접근 방식을 적용합니다.

오디오 해킹의 위험을 이해하고 대응함으로써 개인과 조직은 이 새로운 위협에 대한 방어력을 강화할 수 있습니다.