Все, что вам нужно знать о Kling: новый генератор видео на основе ИИ, который бросает вызов Sora и впечатляет создателей контента

Если вы следите за влиятельными лицами в области ИИ или создателями контента в социальных сетях, вы, вероятно, заметили рост интереса к новой модели генерации видео на основе ИИ под названием «Kling». Kling создает сверхреалистичные видео на основе текстовых подсказок и настроек в приложении, сравнимые с моделью Sora от OpenAI, доступной только по приглашениям. В настоящее время Sora находится на закрытом бета-тестировании и используется лишь несколькими художниками и режиссерами для тестирования ее спорных функциональных возможностей.

Недавно Kling продемонстрировал свои возможности на YouTube, воспроизведя видео под названием «air head», одно из первых видео, созданных с помощью Sora творческим агентством Shy Kids.

Что такое Kling и откуда он появился?

Согласно South China Morning Post (SCMP), Kling был разработан компанией Kuaishou Technology, создателем приложения Kuaishou, второго по популярности приложения для коротких видео в Китае (за пределами Китая брендируется как Kwai) с 400 миллионами активных пользователей ежедневно. Оно уступает только Douyin, китайской версии TikTok, с 600 миллионами активных пользователей. Высокая вовлеченность пользователей делает Kling особенно привлекательным и может повысить конкурентоспособность Kuaishou по сравнению с Douyin.

SCMP сообщает, что модель ИИ Kling, находящаяся на испытательном сроке, может преобразовывать текст в видеоролики длительностью до 2 минут в разрешении 1080p, поддерживая различные соотношения сторон. Она интерпретирует подсказки для создания видео, отражающих реальные или воображаемые сцены.

Согласно источникам, на которые ссылается Perplexity, Kling использует уникальный 3D варьируемый автоэнкодер (VAE) для реконструкции лиц и тел, захватывая детальные выражения и движения с одного полного изображения тела. Это дополнено 3D пространственно-временным механизмом совместного внимания, что позволяет модели обрабатывать сложные сцены, соблюдая законы физики.

Как получить доступ к Kling и его стоимость

Kling доступен бесплатно через приложения Kuaishou, Kwai и KwaiCut (последнее является конкурентом TikTok's CapCut). Однако пользователи за пределами Китая могут столкнуться с проблемами доступа; имеются сообщения о том, что для загрузки и использования приложения требуется китайский номер телефона. Партнер венчурного капитала Justine Moore из a16z предложила обходной путь с использованием временного номера телефона через приложение KwaiCut. Режиссер из США Дастин Голливуд также рекомендовал использовать ChatGPT для перевода меню и интерфейсов приложения для пользователей, не говорящих по-китайски.

Возможности Kling

Ранние пользователи отметили, что Kling прекрасно справляется с созданием погружающих, реалистичных видео высокого разрешения в различных жанрах — от боевых сцен до воссоздания сцен из игр от первого лица и высокофантастических сценариев, напоминающих «Дом дракона» или «Игру престолов». Дастин Голливуд упомянул, что создание видео на основе подсказки средней сложности занимает около двух минут. Однако он отметил некоторые ограничения, касающиеся точности передачи расы и цвета кожи, аналогичные проблемам, с которыми столкнулись возможности генерации изображений ИИ Gemini от Google.

Несмотря на эти недостатки, Kling вызывает бурю эмоций в киносообществе, заставляя многих, включая Голливуда, пересмотреть свои взгляды на Sora и осторожную стратегию распределения OpenAI.

Влияние Kling на рынок видео на основе ИИ

Появление Kling ставит под сомнение его потенциал способствовать развитию моделей видео на основе ИИ в США, таких как OpenAI, Runway и Pika, побуждая их улучшать качество и разрешение своих предложений. Остается вопросом, смогут ли они быстро адаптироваться, чтобы соответствовать или превзойти то, что предлагает Kling.

Для всех, кто интересуется фильмопроизводством на основе ИИ или широкой киноиндустрией, появление Kling — это определенно захватывающее событие. Надеемся на полное релизное запуск в США без текущих ограничений на верификацию номером телефона.