Stability AI представляет SVD 1.1: Diffusion-модель, улучшающая стабильность в производстве видео с использованием ИИ.

Stability AI представляет SVD 1.1: шаг в развитии генерации видео с помощью ИИ

Stability AI, известная своим расширяющимся набором моделей открытого кода для создания контента и кодирования, анонсировала обновление своей модели диффузии изображений в видео, известной как Stable Video Diffusion (SVD).

Введение в SVD 1.1

Новая версия, SVD 1.1, является усовершенствованной итерацией SVD 1.0, оптимизированной для генерации коротких видео с ИИ, обеспечивающих улучшенную динамику и согласованность. Том Мейсон, технический директор Stability AI, подтвердил, что SVD 1.1 теперь доступна для скачивания на платформе Hugging Face. Также она будет включена в подписку Stability AI, которая имеет разные уровни для физических лиц и предприятий, начиная с бесплатной и заканчивая $20 в месяц. Коммерческим пользователям потребуется подписка для развертывания, в то время как для исследовательского использования доступ остался бесплатным.

Улучшенные возможности SVD 1.1

Запущенная в ноябре 2023 года, Stability AI изначально представила две модели для генерации видео с ИИ: SVD, создающую четырехсекундные видео с 14 кадрами из статического изображения, и SVD-XT, доработанную версию, генерирующую до 25 кадров. Основываясь на SVD-XT, новая версия SVD 1.1 также создает четырехсекундные видео с 25 кадрами при разрешении 1024×576, когда предоставляется контекстный кадр того же размера.

Это обновление направлено на повышение согласованности выходного видео по сравнению с предыдущими версиями. Ранее модели иногда испытывали трудности с фотореализмом, отсутствием динамики и генерацией реалистичных лиц и людей. SVD 1.1 нацелена на решение этих проблем, обещая улучшенные динамические показатели в финальных результатах.

Согласно компании, "тонкая настройка SVD 1.1 проводилась с фиксированной настройкой на 6 FPS и идентификатором движения 127 для повышения согласованности выхода без необходимости в изменении гиперпараметров." Хотя эти настройки все еще могут быть изменены, производительность может отличаться при других условиях.

Производительность и перспективы

Хотя Stability AI утверждает, что SVD 1.1 обладает улучшенными функциями, практическая эффективность модели еще предстоит оценить. Страница модели на Hugging Face подчеркивает ее исследовательскую направленность и признает, что некоторые проблемы предыдущих версий могут сохраняться.

Кроме Hugging Face, модели Stable Video Diffusion доступны через API на платформе разработчиков Stability AI, что позволяет разработчикам бесшовно интегрировать продвинутые возможности генерации видео в свои приложения. API Stable Video Diffusion генерирует четырехсекундное видео при 24 FPS в формате MP4, создавая 25 кадрированных кадров вместе с интерполированными кадрами. Такие функции, как управление силой движения и поддержка нескольких компоновок и разрешений — включая 1024×576, 768×768 и 576×1024 — повышают удобство использования.

Будущее на горизонте

В 2023 году Stability AI добилась значительных успехов в области генеративного ИИ с частыми обновлениями моделей, и этот тренд, по всей видимости, продолжится в 2024 году. Основанная в 2019 году, компания привлекла значительные инвестиции, включая раунд финансирования в размере $101 миллиона в 2022 году. Однако она сталкивается с конкуренцией со стороны других участников рынка генерации видео с ИИ, таких как Runway и Pika, которые также набирают популярность благодаря удобным веб-платформам, предлагающим кастомизацию видео и его улучшение.

Недавно Runway представила функцию Multi Motion Brush, позволяющую пользователям анимировать определенные области своих видео с ИИ. Аналогично, Pika дает возможность редактировать конкретные участки в видео, например, трансформировать лицо коровы в утку. Тем не менее, ни одна из этих платформ не предлагает API для своих моделей, что ограничивает интеграцию в сторонние приложения.

Поскольку рынок генерации видео с ИИ продолжает развиваться, SVD 1.1 от Stability AI представляет собой интересный шаг вперед, который стоит внимательно отслеживать.