Stability AI Presenta SVD 1.1: El Modelo de Difusión que Mejora la Consistencia en la Producción de Videos con IA

Stability AI Lanza SVD 1.1: Un Avance en la Generación de Videos con IA

Stability AI, reconocido por su creciente conjunto de modelos de inteligencia artificial de código abierto para la creación de contenido y programación, ha anunciado una actualización a su modelo de difusión latente de imagen a video, conocido como Stable Video Diffusion (SVD).

Presentando SVD 1.1

La nueva versión, SVD 1.1, es una iteración refinada de SVD 1.0, optimizada para generar videos cortos con IA, con movimiento mejorado y mayor consistencia. Tom Mason, CTO de Stability AI, confirmó que SVD 1.1 ya está disponible para descarga pública a través de Hugging Face. Además, se incluirá en las membresías de suscripción de Stability AI, que varían en niveles para individuos y empresas, desde opciones gratuitas hasta $20 al mes. Los usuarios comerciales necesitarán una suscripción para su implementación, mientras que el uso para investigación sigue siendo gratuito.

Características Mejoradas de SVD 1.1

Lanzado en noviembre de 2023, Stability AI presentó inicialmente dos modelos para la generación de videos: SVD, que creaba videos de cuatro segundos con hasta 14 fotogramas a partir de una imagen fija, y SVD-XT, una versión ajustada que generaba hasta 25 fotogramas. Construyendo sobre SVD-XT, el nuevo SVD 1.1 también genera videos de cuatro segundos con 25 fotogramas a una resolución de 1024×576, siempre que se le proporcione un fotograma de contexto del mismo tamaño.

Este upgrade busca una mayor consistencia en la salida de video en comparación con versiones anteriores. Los modelos anteriores a veces tenían dificultades con el fotorrealismo, carecían de movimiento y enfrentaban retos para generar rostros y personas realistas. SVD 1.1 pretende resolver estos problemas, prometiendo una dinámica de movimiento mejorada en los resultados finales.

La empresa afirma: "El ajuste fino para SVD 1.1 se llevó a cabo con una condicionamiento fijo a 6 FPS y un ID de cubo de movimiento 127 para mejorar la consistencia de salida sin necesidad de ajustes de hiperparámetros." Aunque estas configuraciones siguen siendo ajustables, el rendimiento podría variar fuera de estas condiciones fijas.

Rendimiento y Perspectivas Futuras

A pesar de que Stability AI asegura mejoras con SVD 1.1, su efectividad en escenarios reales aún debe ser evaluada. La página de Hugging Face del modelo subraya su diseño orientado a la investigación y reconoce que algunos desafíos de versiones anteriores pueden persistir.

Además de Hugging Face, los modelos de Stable Video Diffusion son accesibles a través de una API en la plataforma de desarrolladores de Stability AI, lo que permite a los desarrolladores integrar capacidades avanzadas de generación de video en sus aplicaciones. La API de Stable Video Diffusion genera cuatro segundos de video a 24 FPS en formato MP4, produciendo 25 fotogramas generados junto con fotogramas interpolados. Funciones como el control de la fuerza del movimiento y soporte para múltiples diseños y resoluciones—incluyendo 1024×576, 768×768 y 576×1024—mejoran la usabilidad.

Mirando al Futuro

En 2023, Stability AI logró avances significativos en inteligencia artificial generativa con actualizaciones frecuentes de modelos, una tendencia que parece continuar en 2024. Fundada en 2019, la compañía ha atraído una considerable inversión, incluyendo una ronda de financiamiento de $101 millones en 2022. No obstante, enfrenta competencia de otros actores en el espacio de generación de videos con IA, como Runway y Pika, que han ganado terreno con plataformas web amigables que también ofrecen personalización y escalado de videos.

Recientemente, Runway presentó la función Multi Motion Brush, que permite a los usuarios animar áreas específicas de sus videos de IA. De manera similar, Pika permite a los usuarios editar regiones específicas en los videos, como transformar la cara de una vaca en la de un pato. Sin embargo, ninguno opera APIs para sus modelos, lo que limita la integración en aplicaciones de terceros.

A medida que el panorama de la generación de videos con IA continúa evolucionando, SVD 1.1 de Stability AI representa un emocionante avance que merece ser seguido.