Runway представляет Gen-3 Alpha: революционную гиперреалистичную модель ИИ для создания впечатляющих 10-секундных видеороликов.

Компания Runway ML, базирующаяся в Нью-Йорке и известная как Runway, является пионером в создании высококачественного видео с использованием генеративного ИИ. После выпуска модели Gen-1 в феврале 2023 года и Gen-2 в июне 2023 года, компания столкнулась с возрастающей конкуренцией со стороны других реалистичных генераторов видео, таких как предстоящая модель Sora от OpenAI и недавно запущенная Dream Machine от Luma AI.

В ответ на конкуренцию Runway анонсировала значительное обновление в области генеративного ИИ-видео — модель Gen-3 Alpha. В блоге она была описана как "первая в серии, обученная на новой инфраструктуре для масштабного мультимодального обучения". Целью модели является разработка Общих Мировых Моделей, способных имитировать широкий спектр реальных ситуаций и взаимодействий. Примеры видео, демонстрирующие возможности Gen-3 Alpha, представлены в этой статье.

Gen-3 Alpha позволяет пользователям создавать 10-секундные высококачественные и реалистичные видеоклипы с точными эмоциональными выражениями и движениями камеры. Согласно представителям Runway, первый релиз предложит генерацию клипов длительностью 5 и 10 секунд, значительно ускоряя время производства: 5 секунд — за 45 секунд, 10 секунд — за 90 секунд.

Хотя конкретная дата релиза не была объявлена, демонстрационные видео доступны на сайте Runway и в их аккаунте X. Доступность для пользователей остаётся неясной, с возможностью получения через бесплатный уровень или по платной подписке, начинающейся от 15 долларов в месяц или 144 долларов в год.

В недавнем интервью сооснователь и технический директор Runway Анастасис Германидис подтвердил, что Gen-3 Alpha станет доступна для платных подписчиков в ближайшие дни, с планами на будущий релиз для пользователей бесплатного уровня. Представитель Runway добавил, что модель будет доступна для корпоративных клиентов и участников Программы Творческих Партнёров.

Германидис сообщил в X, что Gen-3 Alpha улучшит существующие функции, такие как текст в видео и изображение в видео, а также введет новые возможности. С момента выпуска Gen-2 компания обнаружила, что масштабирование моделей диффузии видео еще не достигло максимальной производительности, что позволяет разработать мощные представления визуального контента.

Диффузия обозначает процесс, при котором модель ИИ учится восстанавливать визуальные концепты из пикселизованного "шума" с использованием аннотированных пар изображений/видео и текста. Runway утверждает, что Gen-3 Alpha "обучается совместно на видео и изображениях", под руководством команды исследователей, инженеров и художников. Тем не менее, конкретные наборы данных не были раскрыты, что является обычной практикой среди генераторов медиа на основе ИИ.

Критики призывают создателей моделей ИИ компенсировать оригинальным авторам данных лицензиями, некоторые из которых подают иски о нарушении авторского права. Тем не менее, компании ИИ утверждают, что имеют законное право использовать любые общедоступные данные.

На вопрос о данных для обучения Gen-3 Alpha представитель Runway сообщил, что они полагаются на кураторские внутренние наборы данных, управляемые их исследовательской командой.

Стоит отметить, что Runway сотрудничает с ведущими медиа- и развлекательными организациями для разработки индивидуальных версий Gen-3, нацеленных на стилистическую согласованность и соответствующих конкретным художественным и нарративным задачам. Хотя детали этих сотрудничеств остаются закрытыми, создатели фильмов, получившие награды, такие как "Everything Everywhere All at Once" и "The People’s Joker", ранее использовали технологии Runway.

Runway также предоставила форму для организаций, заинтересованных в кастомизированных версиях Gen-3, хотя детали цен для индивидуального обучения моделей не были опубликованы. Очевидно, что Runway решительно настроена сохранить свою позицию лидера в быстроразвивающемся секторе генеративного ИИ-видео.