Sora Video Generator: Изучение реальной производительности и проблем использования

В начале года выпуск видео-генератора Sora от OpenAI привлек внимание всего мира благодаря своей революционной способности создавать видео по текстовым подсказкам, вызвав обсуждения о его потенциальном влиянии на будущее Голливуда. Однако, когда команда Shy Kids углубилась в процесс производства с Sora, они столкнулись с его сложностями и вызовами.

Sora – это передовая диффузионная модель, которая может создавать реалистичные видео длительностью до одной минуты на основе текстовых подсказок с плавными переходами между сценами и настройками композиции. Тем не менее, в реальном кинопроизводстве Sora не показала ожидаемых впечатляющих результатов, выявив более глубокие проблемы.

В интервью fxguide команда Shy Kids отметила, что, несмотря на значительные достижения Sora в генерации изображений, ей по-прежнему требуется человеческое руководство и обширное редактирование для сложных проектов, чтобы соответствовать специфическим требованиям режиссеров. Интеграция Sora в творческий процесс является инновационной, но не обязательной.

Пользовательский интерфейс Sora прост и подразумевает только текстовый ввод, что ограничивает творческий потенциал художника. Хотя инструмент хорошо справляется с поддержанием согласованности объектов в кадре, он испытывает трудности с соответствием контента между различными сценами, что влияет на общую целостность. В результате художникам необходимо тщательно описывать сцены в своих текстовых подсказках, включая такие аспекты, как одежда персонажей и реквизит. Несмотря на эти усилия, Sora по-прежнему имеет ограничения в контроле за согласованностью кадров.

Более того, метод имплицитной генерации кадров Sora ставит перед художниками вызовы в понимании и креативности. Художники должны уметь интерпретировать имплицитные характеристики конкретных понятий, чтобы корректно составлять текстовые подсказки. Например, запрашивая сцену с бананом, художник должен учитывать такие характеристики, как цвет и форма банана, чтобы гарантировать соответствие сгенерированного видео ожиданиям.

Таким образом, несмотря на огромный потенциал Sora в области генерации видео, она сталкивается с многочисленными сложностями в реальных приложениях. По мере дальнейшего развития технологии есть все основания полагать, что Sora приведет к новым инновациям и преобразованиям в кинопроизводстве в будущем.