연구 결과, Alexa, Siri, 그리고 Google Assistant가 악의적인 명령에 취약하다는 사실이 드러났다.

최근 아마존 웹 서비스(AWS) 연구자들의 연구에 따르면, 음성을 이해하고 응답할 수 있는 대형 언어 모델(LLM)에서 심각한 보안 취약점이 발견되었습니다. “SpeechGuard: 멀티모달 대형 언어 모델의 적대적 강건성 탐색”이라는 제목의 이 논문은 이러한 AI 시스템이 전략적으로 설계된 음성 공격을 통해 유해하거나 비윤리적인 응답을 생성하도록 조작될 수 있음을 보여줍니다.

스마트 스피커부터 AI 어시스턴트까지 음성 인터페이스의 사용이 증가함에 따라 이들의 안전성과 신뢰성을 확보하는 것이 필수적입니다. 연구에 따르면, 기존의 안전 조치에도 불구하고 음성 언어 모델(SLM)은 "적대적 공격"에 매우 취약합니다. 이러한 공격은 인간이 감지할 수 없는 미세한 오디오 입력 변화를 포함하며, 이는 모델의 출력을 극적으로 변화시킬 수 있습니다.

AWS 연구는 AI 음성 시스템이 적대적 공격에 노출될 때 은행 강도와 같은 비윤리적인 지침을 제공하도록 강요될 수 있는 사례를 제시합니다. 이러한 취약점을 해결하기 위해 연구자들은 전처리 방어 메커니즘을 제안합니다.

적대적 오디오로 SLM 해킹하기

연구팀은 실험 결과 SLM에서 평균 90%의 성공률로 적대적 섭동을 통해 해킹이 가능하다는 엄청난 취약점을 발견했다고 보고했습니다. 또한, 악의적인 행위자들이 이러한 약점을 대규모로 악용할 가능성에 대해 경고했습니다. 연구자들은 예상되는 음성 출력을 12개 범주에서 유도하기 위해 전이성 공격을 사용하여 90%의 성공률로 모델의 안전성 제약을 우회했습니다.

이 연구는 다양한 음성 질문-응답 AI 모델에서 적대적 공격의 실행 가능성을 강조합니다. 크로스 모델 및 크로스 프롬프트 전략을 활용하여 예상치 못한 응답이 유도되었고, 이는 강력하고 이식 가능한 방어책의 필요성을 부각시킵니다.

블랙박스 공격: 현실의 위협

더욱 우려스러운 점은, 특정 SLM을 위해 설계된 오디오 공격이 직접 접근 없이도 다른 모델로 성공적으로 전이된다는 것입니다. 이는 대부분의 상업적 공급자가 제한된 API 접근을 제공하는 상황에서 점점 더 일반화되고 있습니다. "블랙박스" 맥락에서 공격 성공률은 10%로 떨어지지만, 여전히 상당한 취약성을 나타냅니다.

주요 저자 라구비르 페리는 “다양한 모델 아키텍처 간의 공격 전이 가능성은 현재 우리가 안전성과 정렬을 위해 이러한 시스템을 교육하는 접근 방식에 근본적인 결함이 있음을 시사합니다”라고 밝혔습니다.

기업들이 음성 AI를 고객 서비스 및 데이터 분석과 같은 기능에 점점 더 통합함에 따라 그 영향은 상당합니다. 결함이 있는 AI로 인한 평판 손상뿐만 아니라, 적대적 공격이 사기, 산업 스파이, 심지어 자동화된 환경에서의 신체적 피해를 용이하게 할 수 있습니다.

대응책과 앞으로의 방향

다행히 연구자들은 오디오 입력에 무작위 노이즈를 추가하는 랜덤화된 스무딩과 같은 다양한 대응책을 제안합니다. 실험을 통해 이 기술이 적대적 공격의 성공률을 크게 줄이는 데 효과적임을 입증했지만, 저자들은 이것이 완벽한 해결책은 아니라고 인정했습니다.

페리는 “적대적 공격에 대한 방어는 지속적인 군비 경쟁입니다. 이러한 모델의 능력 증가와 함께 악용 가능성도 높아집니다. 이들의 안전성과 강건성을 강화하기 위한 지속적인 투자가 필수적입니다”라고 말했습니다.

연구된 SLM은 대화 데이터에 대한 교육을 받고, 공격이 실행되기 전에 80% 이상의 안전성과 유용성으로 음성 질문-응답 작업에서 최신 성능을 달성했습니다. 이는 기술 발전에 따라 능력과 안전성의 균형을 유지하는 것이 얼마나 어려운지를 보여줍니다.

최신 기술 기업들이 더욱 강력한 음성 AI 개발 경쟁에 나서고 있는 이 시점에서, 이 연구는 보안이 후순위가 아니라 우선시되어야 함을 일깨워줍니다. 규제 당국과 산업 그룹 간 협력이 엄격한 기준과 테스트 프로토콜을 확립하는 데 필수적일 것입니다.

공동 저자 카트린 키르히호프는 “우리는 이 기술과 관련해 전환점에 있습니다. 이 기술은 사회적 이익을 위한 엄청난 잠재력을 지니고 있지만, 책임감 없이 개발될 경우 해를 끼칠 수 있습니다. 이 연구는 음성 AI의 이점을 극대화하고 위험을 최소화하기 위한 중요한 단계입니다”라고 강조합니다.