如果你关注社交媒体上的AI影响者或创作者,可能已经注意到一个名为“Kling”的新型AI视频生成模型引发的热潮。Kling能够根据文本提示和应用内设置生成高度逼真的视频,其效果可与OpenAI的邀请制AI模型Sora媲美。Sora目前处于封闭测试阶段,仅与少数艺术家和电影制作人分享,主要用于探索其存在争议的潜在用途。
Kling最近在YouTube上展示了其能力,成功重现了创意机构Shy Kids用Sora创作的首个视频“air head”。
什么是Kling及其背景?
据《南华早报》报道,Kling是由快手科技开发的,快手是中国第二大短视频应用(国际版名为Kwai),拥有4亿日活跃用户,仅次于具有6亿日活跃用户的抖音,这使得Kling的应用潜力尤为引人注目,有望提升快手在与抖音竞争中的地位。
据《南华早报》报道,Kling的AI模型目前正在试用中,能够将文本转换为时长最长可达2分钟的1080p视频,支持多种长宽比。它可以解读提示,创作出反映现实场景或富于想象的画面。
根据Perplexity引用的消息,Kling采用独特的3D变分自编码器(VAE)进行面部和身体重建,能够从一张全身图片中捕捉到详细的表情和动作。此外,它还结合了3D时空联合注意力机制,使模型能够处理复杂场景同时遵循物理法则。
如何使用Kling及其费用
Kling可以通过快手、Kwai和KwaiCut(后者是与TikTok的CapCut竞争的视频编辑工具)免费使用。不过,来自中国以外的用户可能会面临使用障碍;有报道指出,下载和使用该应用需要中国手机号码。
a16z的风险投资合伙人Justine Moore建议可以通过KwaiCut应用使用一次性手机号获取访问权限。美国电影制作人Dustin Hollywood也推荐使用ChatGPT将应用菜单和界面翻译给非中文用户。
Kling的功能
早期用户反映,Kling在生成各种题材的高分辨率沉浸式视频方面表现出色,从动作场景到第一人称射击游戏的重现,再到类似《龙之家族》或《权力的游戏》的高幻想场景。
Dustin Hollywood指出,根据一个“中等”复杂度的提示生成视频大约需要两分钟。但他也提到一些局限性,尤其是在准确描绘种族和肤色上,这与Google的Gemini AI生成图片所面临的挑战相似。
尽管如此,Kling在电影制作界引发了广泛关注,促使很多人重新思考Sora及OpenAI的审慎分发策略。
Kling对AI视频领域的影响
Kling的出现引发了对其是否会促使美国的AI视频模型提供者(如OpenAI、Runway和Pika)提升其产品质量和分辨率的质疑。目前还不清楚这些公司是否能够迅速适应,至少能够达到或超越Kling的效果。
对任何对AI电影制作或更广泛电影产业感兴趣的人来说,Kling的推出无疑是一个令人兴奋的发展。希望其在美国的全面发布能够消除当前对手机号码验证的限制。