Alibaba startet Tora AI Video-Generierungs-Framework: Steuern Sie Objektbewegungsbahnen mit einfachen Zeichnungen.

Kürzlich präsentierte das Alibaba-Team ein innovatives KI-Video-Generierungsframework namens Tora. Dieses hochmoderne Framework integriert Text-, Visualisierungs- und Trajektorieninformationen und nutzt dabei die bahnbrechende technologie des tra­jek­to­rie­gesteuerten Diffusions-Transformators (DiT). Tora verbessert somit erheblich die Generierung und Kontrolle von Videoinhalten und bietet beispiellose kreative Freiheit in Bereichen wie visuellen Effekten und virtueller Realität.

Das Tora-Framework besteht aus drei wesentlichen Komponenten: dem Trajektorien-Extractor (TE), dem spatio-temporalen DiT-Modul und dem bewegungsgeführten Fusionsmodul (MGF). Der TE verwendet ein fortschrittliches 3D-Video-Kompressionsnetzwerk, um Eingangstrajektoriedaten effektiv in geschichtete spatiotemporale Bewegungs-Patches zu kodieren. Dies schafft eine robuste Grundlage für die anschließende Videoproduktion. Gleichzeitig kombiniert das MGF diese Bewegungs-Patches mit dem DiT-Modul, wodurch sichergestellt wird, dass das generierte Video eng an den vorgegebenen Trajektorien ausgerichtet ist, was zu sanften und natürlichen Bewegungseffekten führt.

Besonders hervorzuheben ist, dass das Tora-Framework die Generierung von Videos mit bis zu 204 Frames und einer Auflösung von 720P unterstützt. Nutzer haben präzise Kontrolle über die Dauer, das Seitenverhältnis und die Auflösung des Videos, was verschiedene kreative Anforderungen erfüllt. Experimentelle Ergebnisse zeigen, dass Tora nicht nur hohe Bewegungsgenauigkeit beibehält, sondern auch physikalische Bewegungsgesetze sorgfältig simuliert, wodurch ein authentischeres und immersives visuelles Erlebnis ermöglicht wird.

Das Alibaba-Team vergleicht Tora mit einem „magischen Pinsel“ für die Videoproduktion, der es Nutzern ermöglicht, Bewegungs­trajektorien von Objekten einfach zu manipulieren und mühelos komplexe Videos zu erstellen. Diese Designphilosophie senkt die Hürden für die Videoproduktion erheblich und befähigt Fachleute wie visuelle Effek­tkünstler, Werbetreibende und Entwickler virtueller Realitäten mit einem leistungsstarken kreativen Werkzeug, das das Potenzial hat, Innovationen in ihren jeweiligen Bereichen voranzutreiben.

Mit der offiziellen Einführung von Tora hat das Alibaba-Team erneut seine Innovationskraft im Bereich der Künstlichen Intelligenz unter Beweis gestellt. Da sich die Technologie weiterentwickelt, ist Tora bereit, noch mehr Überraschungen und Transformationen in die globale Videoproduktion und -verbreitung zu bringen.