ElevenLabs Lança Ferramenta de Código Aberto para Adicionar Efeitos Sonoros a Vídeos com Facilidade

Semanas após o lançamento de sua IA de efeitos sonoros de texto para som, a startup de voz AI ElevenLabs apresenta uma ferramenta de código aberto projetada para demonstrar suas capacidades. Em apenas 15 segundos, este aplicativo permite que criadores gerem amostras de efeitos sonoros para seus vídeos, analisando o clipe importado e oferecendo várias opções de som.

Os desenvolvedores podem acessar o código do aplicativo no GitHub, enquanto um site dedicado permite que o público experimente a API de Efeitos Sonoros. Quando um vídeo é carregado, o aplicativo Vídeo para Efeitos Sonoros extrai quatro quadros em intervalos de um segundo. Esses quadros, junto com um prompt, são enviados ao GPT-4 da OpenAI para criar um prompt personalizado de efeitos sonoros. Isso é então utilizado para gerar efeitos sonoros por meio da API de Efeitos Sonoros da ElevenLabs. Por fim, o vídeo e o áudio são combinados no lado do cliente em um único arquivo para download, com duração de até 22 segundos.

“Vemos isso como uma prova de conceito para o que os usuários podem alcançar com nossa API SFX,” afirma Ammaar Reshi, líder de design da ElevenLabs. “Criadores de vídeo em AI frequentemente buscam o efeito sonoro perfeito, e nosso objetivo é facilitar esse processo analisando quadros de vídeo e sugerindo as melhores opções.” Ele enfatiza o potencial para experiências dinâmicas, especialmente em videogames imersivos, onde os efeitos sonoros podem evoluir com as interações dos jogadores.

A API permite que desenvolvedores criem efeitos sonoros AI personalizados usando breves descrições. A ElevenLabs cobra com base no uso, seja 100 caracteres por geração com duração automática ou 25 caracteres por segundo para uma duração definida.

Em um teste rápido, o aplicativo de vídeo para efeitos sonoros foi simples de usar. Após importar um clipe silencioso de um veículo em um ambiente off-road, a IA da ElevenLabs gerou quatro opções de som, todas semelhantes a um carro navegando em uma estrada de cascalho. Embora adicionar efeitos sonoros a clipes possa ser divertido, o verdadeiro potencial está na integração dessa capacidade em sistemas mais amplos para maior impacto.

À medida que o cenário de geração de vídeo em AI evolui, a ElevenLabs busca se manter na vanguarda, inovando soluções de áudio que atendam às necessidades de desenvolvedores, cineastas e criadores de conteúdo.