일레븐랩스(ElevenLabs)는 음성 복제, 텍스트-음성 변환, 음성-음성 모델로 유명한 AI 음성 기술의 선구자로, 새로운 도구인 AI 음성 분리기를 출시했습니다. 이제 일레븐랩스 플랫폼에서 제공되는 이 혁신적인 도구는 창작자들이 영화, 팟캐스트, 유튜브 비디오 등 다양한 콘텐츠에서 원하지 않는 주변 소음을 손쉽게 제거할 수 있도록 합니다.
AI 음성 분리기는 어떻게 작동하나요?
배경 소음은 콘텐츠 녹음의 품질을 크게 저하시킬 수 있습니다. 창작자들은 대화 소음, 바람, 근처의 교통 소음 등으로 인해 화자의 목소리가 가려지는 어려움에 직면합니다. 일부는 주변 소음 차단 마이크를 사용하지만, 이는 특히 초기 단계의 창작자에게 항상 접근 가능하지 않을 수 있습니다. 이러한 문제를 해결하기 위해 일레븐랩스의 AI 음성 분리기가 등장했습니다. 이 도구는 후반 제작 단계에서 작동하며 사용자가 콘텐츠를 업로드하도록 합니다. 고급 모델이 파일을 분석하고 배경 소음을 감지 및 제거하여 깨끗한 대화를 추출합니다. 일레븐랩스는 AI 음성 분리기가 스튜디오 녹음과 유사한 음질을 달성한다고 주장합니다. 회사 디자인 책임자 암마르 레시(Ammaar Reshi)가 시연하여 잎 송풍기의 방해 소음을 제거하고 선명한 음성을 만들어냈습니다.
실제 테스트
AI 음성 분리기의 성능을 평가하기 위해 세 가지 테스트를 진행했습니다. 먼저, 여러 배경 소음이 방해하는 세 문장을 녹음했습니다. 도구는 몇 초 만에 음성을 처리하여 문을 여는 소리, 테이블 치는 소리, 박수, 가정 내 동작으로 인한 방해를 성공적으로 제거했습니다. 도구가 필터링에 어려움을 겪었던 소리는 벽을 두드리는 소리와 손가락 소리였습니다.
삼 스클라(Sam Sklar) 일레븐랩스 성장 책임자는 현재 버전의 도구가 음악 보컬을 지원하지 않지만, 일부 트랙에서는 성공할 수 있다고 전했습니다.
미래 개선 계획
음성 분리기의 불규칙한 배경 소음 처리 능력은 평면 소음에 집중된 다른 도구와 구별되지만, 여전히 개선 여지가 있습니다. 일레븐랩스는 지속적으로 성능을 향상시킬 계획입니다. 회사는 도구의 모델이나 업로드된 녹음이 학습에 사용될 것인지에 대한 정보를 많이 공개하지 않았습니다. 그러나 사용자는 개인정보 사용을 거부할 수 있는 링크를 개인정보 보호정책에서 확인할 수 있습니다.
현재 음성 분리기는 일레븐랩스 플랫폼에서만 독점적으로 제공되며, 향후 몇 주 내에 API 접근을 열 계획이지만, 정확한 일정은 미정입니다. 사용자는 제한된 기능으로 도구를 무료로 이용할 수 있습니다. "음성 분리기 모델은 오디오 1분당 1,000자의 비용이 발생합니다. 우리는 매달 10,000자를 포함하는 무료 플랜을 제공하며, 이를 통해 무료로 10분의 오디오를 처리할 수 있습니다."라고 스클라는 설명했습니다. 더 큰 오디오 파일에서 배경 소음을 제거하려는 사용자를 위해 유료 플랜은 월 5달러부터 시작합니다.