스테이블 AI, Stable Audio 2.0 공개: 생성 AI 오디오 솔루션의 향상된 명료함과 강력함

Stability AI는 Stable Audio 2.0 모델을 출시하며 생성 AI의 비전을 한 단계 더 발전시킵니다. 텍스트-이미지 Stable Diffusion 모델로 잘 알려진 이 회사는 포트폴리오를 확장하고 있습니다. Stable Audio는 2023년 9월 처음 선보였으며, 사용자가 텍스트 프롬프트를 기반으로 짧은 오디오 클립을 생성할 수 있도록 합니다. Stable Audio 2.0에서는 사용자가 최대 3분 길이의 고품질 오디오 트랙을 생성할 수 있게 되었습니다. 이는 기존 90초에서 두 배로 늘어난 것입니다.

Stable Audio 2.0은 텍스트-오디오 생성 기능 외에도 오디오-오디오 기능을 도입하여 사용자가 샘플을 업로드하고 이를 프롬프트로 사용할 수 있습니다. 현재 Stable Audio 웹사이트에서 제한된 무료 사용이 가능하며, 혁신적인 서비스를 구축하려는 개발자를 위한 API 접근도 곧 제공될 예정입니다. Stable Audio 2.0의 출시는 전 CEO이자 창립자인 Emad Mostaque의 갑작스러운 사임 이후 Stability AI의 첫 주요 업데이트로, 업데이트가 운영 지속을 의미한다고 사용자에게 안내하고 있습니다.

Stable Audio 1.0에서 2.0으로의 개선 사항

Stable Audio 2.0의 개발은 이전 모델인 Stable Audio 1.0에서 얻은 귀중한 통찰력을 반영했습니다. Stability AI의 오디오 연구 책임자인 Zach Evans는 초기 출시의 초점이 우수한 오디오 충실도와 의미 있는 출력 지속 시간의 모델을 출시하는 것이었다고 설명했습니다. “그 이후로 우리는 음악성 향상, 출력 시간 연장, 세부 프롬프트에 대한 반응성 개선에 집중해왔습니다. 이러한 개선은 기술이 실제 상황에 더 적합하도록 만들기 위한 것입니다.”라고 Evans는 말했습니다.

Stable Audio 2.0은 이제 논리적인 구조를 가진 완전한 음악 트랙을 생성할 수 있으며, 잠재 확산 기술을 활용하여 최대 3분까지 지속되는 작곡물 제작이 가능해졌습니다. 이는 짧은 루프나 조각만을 생성하던 이전 모델에서 크게 발전한 것입니다.

Stable Audio 2.0의 기술

Stable Audio 2.0은 잠재 확산 모델(LDM)을 지속적으로 활용합니다. 2023년 12월에 출시된 Stable Audio 1.1 버전에서는 변환기 백본을 접목시켜 '확산 변환기' 아키텍처를 구현했습니다. “훈련 동안 오디오에 적용된 데이터 압축을 개선하여 출력 시간을 3분 이상으로 확장하면서도 효율적인 추론 시간을 유지할 수 있었습니다.”라고 Evans는 덧붙였습니다.

향상된 창의적 기능

Stable Audio 2.0에서는 텍스트 프롬프트뿐만 아니라 업로드된 오디오 샘플로부터도 오디오를 생성할 수 있습니다. 자연어 지시어를 사용하여 이 소리를 창의적으로 변형할 수 있으며, 반복적인 세분화 및 편집 과정을 가능하게 합니다. 또한 다양한 음향 효과 및 질감을 확장하여 몰입적인 환경, 배경 소음, 군중, 도시 풍경 등을 생성할 수 있습니다. 사용자는 생성된 오디오와 업로드된 오디오 모두의 스타일과 톤을 수정할 수 있게 되었습니다.

생성 AI 오디오의 저작권 우려 해결

저작권 문제는 생성 AI 분야에서 여전히 중요한 이슈입니다. Stability AI는 새로운 오디오 모델을 통해 지적 재산권을 준수할 것을 약속합니다. 저작권 우려를 해소하기 위해 Stable Audio 2.0은 AudioSparx의 라이센스 데이터를 독점적으로 학습하였으며, 옵트아웃 요청을 존중합니다. 콘텐츠 인식 기술을 통해 저작권이 있는 자료 처리를 방지하기 위해 오디오 업로드를 모니터링합니다.

저작권 보호는 Stability AI가 Stable Audio의 상업화를 성공적으로 추진하고 조직의 안전한 사용을 보장하는 데 필수적입니다. 현재 Stable Audio는 웹 애플리케이션에 대한 구독을 통해 수익을 창출하고 있으며, 곧 API가 출시될 예정입니다. 그러나 현재 Stable Audio는 오픈 모델이 아닙니다. “Stable Audio 2.0의 가중치는 다운로드할 수 없지만, 올해 말에 공개 오디오 모델을 개발하고 있습니다.”라고 Evans는 확인했습니다.