OpenAI продолжает удивлять зрителей своей моделью генерации видео с ИИ, Sora, демонстрируя впечатляющие новые примеры. Однако доступ для широкой аудитории остается ограниченным. В то же время конкурент Pika представил захватывающую функцию для своих подписчиков: Lip Sync.
Этот инновационный инструмент позволяет пользователям добавлять разговорные диалоги в свои видео с помощью голосов, сгенерированных ИИ от ElevenLabs, отдельного стартапа в области генеративного звука. Lip Sync синхронизирует движения рта с диалогом, что повышает реалистичность говорящих персонажей.
Функция Pika Lip Sync предлагает как преобразование текста в аудио, так и возможность загрузки аудиотреков. Пользователи могут набирать или записывать диалоги для своих персонажей, созданных с помощью ИИ Pika, позволяя им настраивать стилевое звучание голосов. В настоящее время Lip Sync находится на стадии "раннего доступа", доступна исключительно для пользователей Pika Pro (58 долларов в месяц, оплачиваемых ежегодно 696 долларов) и членов программы "Супер-сотрудники" Pika, работающей по приглашениям в Discord.
Преодоление барьеров для ИИ в кинопроизводстве
Хотя видео, созданные ИИ Pika, возможно, не достигнут такого же уровня реалистичности, как Sora от OpenAI или конкурирующий Runway, функция Lip Sync представляет собой значительный шаг вперед. Она решает одну из последних проблем использования ИИ для длинных нарративных фильмов, так как большинство ведущих генераторов видео ИИ не имеют аналогичных встроенных функций.
Традиционно пользователи использовали громоздкие сторонние инструменты и трудоемкие методы постобработки для добавления диалогов и синхронизации движений губ, что создавало эффект низкобюджетности.
В новостях, связанных с этой темой, Runway обновил свою функцию Multi Motion Brush, которая была запущена в прошлом месяце. Этот инструмент позволяет пользователям применять до пяти независимых направлений движения к различным объектам в видео, например, к собаке, прыгающей за фрисби. В обновление входит детекция регионов, которая позволяет автоматически выделять объекты для применения движения, в то время как остаются доступными ручные опции "рисования".
Pika также позволяет пользователям редактировать компоненты видео и увеличивать рабочую область, хотя в данный момент в нем отсутствует инструмент кисти, что приводит к менее точному контролю движений по сравнению с Runway.
Постоянные опасения относительно данных для обучения ИИ
Несмотря на восторг вокруг новой функции Pika, остаются вопросы относительно данных, использованных для обучения ее модели видео. Эд Ньютон-Рекс, генеральный директор некоммерческой организации Fairly Trained, поднял эти вопросы в социальных сетях, подчеркивая важность получения согласия от создателей и владельцев данных во время обучения ИИ.
По мере того как компании, создающие генераторы видео с ИИ, продолжают вводить инновации и улучшать свои предложения, конкуренция усиливается, что приносит пользу пользователям, но вызывает опасения у некоторых профессионалов в киноиндустрии. В частности, кинорежиссер Тайлер Пери столкнулся с негативной реакцией после приостановки расширения студии на 800 миллионов долларов после просмотра видео, созданных с помощью Sora, выразив опасения по поводу возможных потерь рабочих мест из-за этой технологии.
Рейтинг
