Основатель и генеральный директор Meta, Марк Цукерберг, завершил неделю на позитивной ноте, поделившись видео в своем личном Instagram, где он демонстрирует упражнения на пресс для ног в спортзале. Эта социальная сеть, приобретенная Meta в 2012 году, стала идеальным фоном для важного анонса.
В видео тренажер для пресса преображается в различные яркие варианты: неоновая киберпанковская модель, версия в древнеримском стиле и золотая пылающая интерпретация.
Представляем Movie Gen
Тренировочная рутина Цукерберга также стала дебютом Movie Gen — инновационного набора генеративных мультимодальных AI моделей Meta, способных создавать видео и аудио по текстовым подсказкам. Пользователи могут персонализировать свои видео с помощью спецэффектов, реквизита и костюмов, используя простые текстовые инструкции, как показал Цукерберг в своем посте.
Совершенные модели позволяют пользователям изменять конкретные элементы видеороликов, а не создавать их заново, что отличает их от предыдущих AI моделей. Внутренние тесты Meta, описанные в недавней технической статье, показывают, что Movie Gen превосходит конкурентов, таких как Runway Gen 3, Luma Dream Machine, OpenAI Sora и Kling 1.5, по таким параметрам, как согласованность и естественность движений.
Многообразие приложений
Meta стремится сделать Movie Gen незаменимым инструментом как для обычных пользователей, так и для профессиональных контент-креаторов, включая голливудских filmmakers.
Ключевые характеристики Movie Gen:
1. Movie Gen Video: Мощная модель с 30 миллиардами параметров для генерации видео из текста.
2. Movie Gen Audio: Модель с 13 миллиардами параметров для генерации аудио из видео.
3. Персонализированное видео с Movie Gen: Кастомизированная генерация видео на основе предоставленных пользователем изображений.
4. Movie Gen Edit: Модель, предназначенная для точного редактирования видео, позволяющая локальные модификации и замену фонов.
Пользователи могут создавать видео в высоком разрешении (HD) длительностью до 16 секунд при 16 кадрах в секунду с синхронизированным аудио на 48kHz.
Расширенные медиавозможности
Movie Gen упрощает творческий процесс с помощью функций, таких как:
- Видеопроизводство высокого качества: Пользователи могут создавать HD видео, просто вводя текстовые команды. Видеоролики могут достигать разрешения 1080p и сохранять сложные детали, такие как движение камеры и взаимодействие объектов.
- Персонализированное создание контента: Загружая личные изображения, пользователи могут участвовать в AI-сгенерированных видео, сохраняя свою индивидуальность в различных адаптациях.
- Эффективное редактирование видео: Пользователи могут вносить изменения в видео, такие как изменение цветов или объектов, с помощью простых текстовых команд.
- Синхронизированная генерация аудио: Набор Movie Gen включает продвинутую аудиомодель, позволяющую создавать звуковые эффекты и фоновую музыку, соответствующие визуальным элементам.
Инновации на основе данных
Movie Gen основывается на огромном массиве данных, собранных Meta из интернета, используя 100 миллионов видео и 1 миллиард изображений для обучения. Однако Meta сталкивается с критикой касательно легальности своих источников данных, что напоминает о текущих дискуссиях о авторских правах и правах пользователей в разработке AI.
Улучшение методов обучения AI
Подход Meta сочетает традиционные архитектуры диффузионных моделей с новой техникой под названием "Flow Matching", направленной на повышение эффективности обучения и качества выходных данных. Ключевые преимущества включают:
- Нулевое соотношение сигнал/шум (SNR): Flow Matching естественным образом поддерживает SNR без дополнительных корректировок, улучшая согласованность выходных данных видео.
- Эффективность обучения и вывода: Этот метод предлагает большую гибкость с графиками шума, что значительно повышает производительность различных моделей и соответствует человеческим оценкам.
Будущие перспективы
С запуском на Instagram в 2025 году, Movie Gen намерен сделать передовое создание видео доступным для широкой аудитории пользователей. Поскольку Meta продолжает совершенствовать технологию, сотрудничество с креаторами и filmmakers будет ключевым для оптимизации функций набора.
Meta видит в Movie Gen возможность демократизировать сложные инструменты для редактирования видео, дополняя работу профессиональных художников и расширяя творческие возможности для всех пользователей. По мере развития потенциал применения может включать персонализированные анимационные поздравления и пользовательские короткометражные фильмы.
Представление Movie Gen обещает изменить создание контента на платформах Meta, причём пользователи Instagram будут среди первых, кто воспользуется этой передовой технологией. В процессе эволюции Movie Gen может стать незаменимым инструментом как для профессиональных, так и для независимых создателей.
Рейтинг
