Stability AI Lança SVD 1.1: O Modelo de Difusão que Melhora a Consistência na Produção de Vídeos com IA

Stability AI Lança SVD 1.1: Um Avanço na Geração de Vídeos com IA

A Stability AI, conhecida por sua crescente coleção de modelos de IA de código aberto para criação de conteúdo e programação, anunciou uma atualização importante em seu modelo de difusão latente de imagem para vídeo, chamado Stable Video Diffusion (SVD).

Apresentando o SVD 1.1

A nova versão, SVD 1.1, é uma iteração refinada da SVD 1.0, otimizada para gerar vídeos curtos com IA, apresentando movimento aprimorado e maior consistência. Tom Mason, CTO da Stability AI, confirmou que o SVD 1.1 já está disponível para download público no Hugging Face. Além disso, fará parte das assinaturas da Stability AI, que variam em níveis para indivíduos e empresas, iniciando do gratuito até US$ 20 por mês. Usuários comerciais precisarão de uma assinatura para uso em produção, enquanto o uso para pesquisa permanecerá aberto e gratuito.

Recursos Aprimorados do SVD 1.1

Lançado em novembro de 2023, a Stability AI inicialmente introduziu dois modelos para geração de vídeos com IA: SVD, que criava vídeos de quatro segundos com até 14 quadros a partir de uma imagem estática, e SVD-XT, uma versão aprimorada que gera até 25 quadros. O recém-lançado SVD 1.1 também gera vídeos de quatro segundos com 25 quadros em uma resolução de 1024×576 ao receber um quadro de contexto do mesmo tamanho.

Essa atualização visa proporcionar uma maior consistência na saída dos vídeos em comparação com versões anteriores. Modelos anteriores às vezes enfrentavam dificuldades com fotorrealismo, apresentavam falta de movimento e enfrentavam desafios na geração de rostos e pessoas realistas. O SVD 1.1 busca resolver essas questões, prometendo dinâmicas de movimento aprimoradas nos resultados finais.

De acordo com a empresa, "A afinação do SVD 1.1 foi realizada com condicionamento fixo a 6 FPS e ID do balde de movimento 127 para melhorar a consistência da saída sem necessidade de ajustes de hiperparâmetros." Embora essas configurações sejam ajustáveis, o desempenho pode variar fora dessas condições fixas.

Desempenho e Perspectivas Futuras

Embora a Stability AI afirme melhorias com o SVD 1.1, a eficácia no mundo real ainda deve ser avaliada. A página do Hugging Face para o modelo destaca seu design voltado para pesquisa e reconhece que alguns desafios de versões anteriores podem persistir.

Além do Hugging Face, os modelos Stable Video Diffusion estão acessíveis via API na plataforma de desenvolvedores da Stability AI, permitindo que desenvolvedores integrem capacidades avançadas de geração de vídeo em suas aplicações. A API Stable Video Diffusion gera quatro segundos de vídeo a 24 FPS em formato MP4, produzindo 25 quadros gerados e quadros interpolados. Recursos como controle de intensidade de movimento e suporte a múltiplos layouts e resoluções—incluindo 1024×576, 768×768 e 576×1024—ampliam a usabilidade.

Olhando para o Futuro

Em 2023, a Stability AI deu passos significativos na IA generativa com atualizações frequentes dos modelos, uma tendência que parece pronta para continuar em 2024. A empresa, fundada em 2019, atraiu investimentos consideráveis, incluindo uma rodada de financiamento de US$ 101 milhões em 2022. No entanto, enfrenta concorrência de outros players no espaço de geração de vídeo com IA, como Runway e Pika, ambos conquistando espaço com plataformas web amigáveis que também oferecem personalização e upscale de vídeos.

Recentemente, a Runway introduziu o recurso Multi Motion Brush, permitindo que usuários animem áreas específicas de seus vídeos de IA. Da mesma forma, a Pika permite que usuários editem regiões específicas em vídeos, como transformar o rosto de uma vaca em um pato. No entanto, nenhuma das duas opera APIs para seus modelos, o que limita a integração em aplicações de terceiros.

À medida que o cenário da geração de vídeos com IA continua a evoluir, o SVD 1.1 da Stability AI representa um avanço empolgante que merece ser acompanhado.