Alibaba lance le cadre de génération vidéo Tora AI : contrôlez les trajectoires des mouvements d'objets avec des dessins simples.

Récemment, l'équipe d'Alibaba a présenté un cadre innovant de génération de vidéos par IA, baptisé Tora. Ce cadre de pointe intègre des informations textuelles, visuelles et de trajectoire, tout en utilisant la technologie révolutionnaire de diffusion guidée par trajectoire (DiT). Ainsi, Tora améliore considérablement la génération et le contrôle du contenu vidéo, offrant une liberté créative sans précédent dans des domaines tels que les effets visuels et la réalité virtuelle.

Le cadre Tora se compose de trois éléments essentiels : l'Extracteur de Trajectoire (TE), le Module DiT Spatio-Temporel et le Module de Fusion Guidée par le Mouvement (MGF). Le TE utilise un réseau avancé de compression vidéo 3D pour encoder efficacement les données de trajectoire en patches de mouvement spatio-temporel superposés, fournissant une base solide pour la génération vidéo ultérieure. Parallèlement, le MGF associe ces patches de mouvement au module DiT, garantissant que la vidéo générée s'aligne étroitement sur les trajectoires pré-définies, ce qui produit des effets de mouvement fluides et naturels.

Il est à noter que le cadre Tora permet la création de vidéos allant jusqu'à 204 images et d'une résolution de 720P. Les utilisateurs ont un contrôle précis sur la durée, le format et la résolution de la vidéo, répondant ainsi à divers besoins créatifs. Les résultats expérimentaux indiquent que Tora conserve non seulement une grande fidélité de mouvement, mais simule également avec soin les lois physiques du mouvement, offrant une expérience visuelle plus authentique et immersive.

L'équipe d'Alibaba compare Tora à un “pinceau magique” pour la génération de vidéos, permettant aux utilisateurs de manipuler facilement les trajectoires de mouvement des objets et de créer des vidéos complexes sans effort. Cette philosophie de design réduit considérablement les barrières à la production vidéo, en donnant aux professionnels tels que les artistes des effets visuels, les annonceurs et les développeurs de réalité virtuelle un outil créatif puissant, capable de stimuler l'innovation dans leurs domaines respectifs.

Avec le lancement officiel de Tora, l'équipe d'Alibaba prouve une fois de plus son habileté en matière d'intelligence artificielle. À mesure que la technologie continue d'évoluer, Tora est prête à apporter encore plus de surprises et de transformations à la création et à la distribution de vidéos à l'échelle mondiale.