엘레븐랩스, 비디오에 음향 효과를 손쉽게 추가할 수 있는 오픈소스 도구 출시

Home AI 뉴스 엘레븐랩스, 비디오에 음향 효과를 손쉽게 추가할 수 있는 오픈소스 도구 출시

최근 사운드 이펙트 텍스트-투-사운드 AI를 출시한 AI 음성 스타트업 ElevenLabs는 그 기능을 선보이는 오픈 소스 도구를 공개했습니다. 이 애플리케이션은 사용자가 클립을 임포트하면 15초 만에 비디오를 위한 사운드 이펙트 샘플을 생성할 수 있게 해줍니다.

개발자들은 GitHub에서 애플리케이션의 코드를 확인할 수 있으며, 전용 웹사이트를 통해 대중은 사운드 이펙트 API를 실험해볼 수 있습니다. 비디오가 업로드되면, 비디오-사운드 이펙트 애플리케이션은 클라이언트 측에서 1초 간격으로 네 개의 프레임을 추출합니다. 이 프레임과 함께 입력된 프롬프트는 OpenAI의 GPT-4로 전송되어 맞춤형 텍스트-투-사운드 이펙트 프롬프트를 생성합니다. 이후 ElevenLabs의 사운드 이펙트 API를 통해 사운드 이펙트를 생성하고, 최종적으로 비디오와 오디오는 클라이언트 측에서 결합되어 최대 22초 길이의 다운로드 가능한 파일로 만들어집니다.

"우리는 이 기술이 사용자들이 우리의 SFX API로 무엇을 이룰 수 있는지를 증명하는 개념 증명이라고 생각합니다."라고 ElevenLabs의 디자인 리드인 Ammaar Reshi가 말했습니다. "AI 비디오 제작자들은 종종 완벽한 사운드 이펙트를 찾고 있으며, 우리는 비디오 프레임을 분석하고 최적의 출력을 제안함으로써 이 과정을 간소화하고자 합니다." 그는 특히 몰입형 비디오 게임에서 플레이어의 상호작용에 따라 사운드 이펙트가 발전할 수 있는 역동적인 경험의 잠재력을 강조했습니다.

이 API는 개발자들이 간단한 설명으로 맞춤형 AI 사운드 이펙트를 생성할 수 있게 해줍니다. ElevenLabs는 사용량에 따라 과금하며, 자동 지속 시간으로 100자당 한 번 생성하거나 설정된 지속 시간에 따라 초당 25자씩 과금합니다.

간단한 테스트에서는 비디오-사운드 이펙트 애플리케이션이 사용하기 쉬웠습니다. 전지형 환경에서 차량의 무음 클립을 임포트한 후, ElevenLabs의 AI는 자갈길을 주행하는 차량의 소리가 나는 네 가지 옵션을 생성했습니다. 사운드 이펙트를 클립에 추가하는 것은 재미있지만, 진정한 잠재력은 이 기능을 더 큰 시스템에 통합하여 더 큰 영향을 미치는 데 있습니다.

AI 비디오 생성 환경이 발전함에 따라, ElevenLabs는 개발자, 영화 제작자 및 콘텐츠 제작자의 요구에 맞는 오디오 솔루션을 혁신함으로써 선두주자로 남고자 합니다.

AWS, 아마존 세이지메이커를 위한 강화된 머신러닝 서비스로 관리형 오픈 소스 MLflow를 출시하다

펭귄 솔루션즈, AI 공장 배포 강화 및 성능 최적화를 위한 OriginAI 개선

Most people like

Buy, Sell and Discover Unique Travel

204.5K

전 세계의 지역 전문가들이 엄선한 여행 가이드와 맞춤형 계획 서비스를 만나보세요. 우리의 전문팀이 보유한 내부 정보와 맞춤 추천으로 여러분의 여행 경험을 한층 더 풍부하게 만들어 드립니다.

여행 가이드 AI Trip Planner

Learn Anything

227.2K

튜터AI와 최첨단 인공지능이 함께하는 Learn Anything으로 언제든지 어떤 주제든지 쉽게 지식을 습득하세요. 손끝으로 배움의 세계로 뛰어들어 보세요!

온라인 학습 Other

Recall

404.5K

온라인 콘텐츠를 손쉽게 요약하고 저장하기 오늘날의 빠르게 변화하는 디지털 세계에서 온라인 콘텐츠 관리는 어려울 수 있습니다. 웹 콘텐츠를 효율적으로 요약하고 저장하는 방법을 통해 경험을 간소화해 보세요! 연구, 학습 또는 정보를 선별하는 과정에서 이 기술을 숙달하면 생산성을 높이고 작업 흐름을 원활하게 할 수 있습니다. 콘텐츠 관리를 쉽게 할 수 있는 최선의 방법을 살펴보겠습니다.

콘텐츠 요약 AI Knowledge Base

SkyDeck AI

보안성이 강화된 생성형 AI 솔루션을 활용하여 창의성과 생산성을 높이세요.

인공지능 AI Productivity Tools

Find AI tools in YBX