Alibaba lanza Tora: un marco de generación de video con IA que permite controlar las trayectorias de movimiento de objetos con dibujos simples.

Recientemente, el equipo de Alibaba presentó un innovador marco de generación de video por IA llamado Tora. Este marco de vanguardia integra información textual, visual y de trayectoria, utilizando la revolucionaria tecnología de transformador de difusión guiada por trayectoria (DiT). Como resultado, Tora mejora significativamente la generación y el control del contenido de video, ofreciendo una libertad creativa sin precedentes en áreas como los efectos visuales y la realidad virtual.

El marco Tora consta de tres componentes esenciales: el Extractor de Trayectorias (TE), el Módulo DiT Espacio-Temporal y el Módulo de Fusión Guiada por Movimiento (MGF). El TE utiliza una avanzada red de compresión de video 3D para codificar eficazmente los datos de trayectoria de entrada en parches de movimiento espaciotemporales, proporcionando una base sólida para la generación de video posterior. Mientras tanto, el MGF combina estos parches de movimiento con el módulo DiT, asegurando que el video generado se alinee estrechamente con las trayectorias predefinidas, resultando en efectos de movimiento suaves y naturales.

Cabe destacar que el marco Tora admite la generación de videos de hasta 204 fotogramas de longitud y a una resolución de 720P. Los usuarios tienen control preciso sobre la duración, la relación de aspecto y la resolución del video, satisfaciendo diversas necesidades creativas. Los resultados experimentales indican que Tora no solo mantiene una alta fidelidad de movimiento, sino que también simula meticulosamente las leyes del movimiento físico, proporcionando una experiencia visual más auténtica e inmersiva.

El equipo de Alibaba compara Tora con un "pincel mágico" para la generación de videos, permitiendo a los usuarios manipular fácilmente las trayectorias de movimiento de los objetos y crear videos complejos sin esfuerzo. Esta filosofía de diseño reduce drásticamente las barreras de producción de video, empoderando a profesionales como artistas de efectos visuales, publicistas y desarrolladores de realidad virtual con una poderosa herramienta creativa que tiene el potencial de impulsar la innovación en sus respectivos campos.

Con el lanzamiento oficial de Tora, el equipo de Alibaba ha demostrado nuevamente su capacidad innovadora en el ámbito de la inteligencia artificial. A medida que la tecnología continúa evolucionando, Tora está preparada para traer aún más sorpresas y transformaciones a la creación y distribución global de videos.