Alibaba запускает Tora — фреймворк для генерации видео с помощью ИИ: контролируйте движение объектов с помощью простых рисунков.

Недавно команда Alibaba представила инновационную платформу для генерации видео с использованием искусственного интеллекта под названием Tora. Эта передовая платформа интегрирует текстовую, визуальную и траекторную информацию, применяя революционную технологию диффузионного трансформера сGuidance on Trajectory (DiT). Благодаря этому Tora значительно улучшает создание и управление видеоконтентом, предоставляя беспрецедентную творческую свободу в таких областях, как визуальные эффекты и виртуальная реальность.

Фреймворк Tora состоит из трех ключевых компонентов: Извлекатель Траекторий (TE), Модуль Пространственно-Временного DiT, и Модуль Слияния Подвижности (MGF). TE использует продвинутую сеть 3D-компрессии видео для эффективного кодирования входных траекторных данных в многослойные пространственно-временные патчи движения, создавая надежную основу для последующей генерации видео. В то же время, MGF сочетает эти патчи движения с DiT модулем, гарантируя, что создаваемое видео точно соответствует заранее определенным траекториям, обеспечивая плавные и естественные эффекты движения.

Важно отметить, что Tora поддерживает генерацию видео длиной до 204 кадров и с разрешением 720P. Пользователи получают точный контроль над длительностью видео, его соотношением сторон и разрешением, что удовлетворяет разнообразным творческим потребностям. Экспериментальные результаты показывают, что Tora не только сохраняет высокую точность движения, но и тщательно моделирует физические законы движения, что предоставляет более аутентичный и погружающий визуальный опыт.

Команда Alibaba сравнивает Tora с "волшебной кистью" для генерации видео, позволяя пользователям легко управлять траекториями движения объектов и без усилий создавать сложные видео. Эта философия дизайна значительно снижает барьеры для производства видео, предоставляя профессионалам, таким как художники по визуальным эффектам, рекламные агентства и разработчики виртуальной реальности, мощный творческий инструмент, способный стимулировать инновации в их областях.

С официальным запуском Tora команда Alibaba в очередной раз продемонстрировала свои инновационные способности в области искусственного интеллекта. По мере дальнейшего развития технологий Tora готова принести еще больше сюрпризов и преобразований в глобальное создание и распространение видео.