OpenAI的AI视频生成模型Sora持续吸引观众,展示了令人印象深刻的新演示示例。然而,公众访问仍然有限。与此同时,竞争对手Pika为其订阅用户推出了一项令人兴奋的新功能:Lip Sync。
这项创新功能允许用户为其视频添加由AI生成的对话,并与来自ElevenLabs的声音同步,ElevenLabs是一家独立的生成音频初创公司。它还同步视频中角色的嘴部动作,从而增强了说话角色的真实感。Pika的Lip Sync功能提供文本转音频转换以及音频轨道上传选项,用户可以为Pika生成的AI角色输入或录制对话,自定义声音风格。
目前,Lip Sync处于“早期访问”阶段,仅对Pika Pro用户(每月58美元,年付696美元)以及Pika的“超级协作者”计划的Discord成员开放。
AI电影制作的新突破
尽管Pika的AI生成视频可能无法达到OpenAI的Sora或竞争对手Runway的真实感,但Lip Sync功能代表了一个重要的进步。它为长篇叙事电影中使用AI的一大挑战提供了解决方案,因为大多数领先的AI视频生成器都缺乏类似的本机功能。用户传统上依靠繁琐的第三方工具和劳动密集的后期制作方法来添加对话和同步嘴部动作,这通常导致低预算的效果。
在相关消息中,Runway更新了其上个月推出的多运动笔刷(Multi Motion Brush)功能。该工具允许用户为视频中的不同对象,例如跳跃的狗,应用多达五个独立的运动方向。此次更新加入了区域检测,能够自动选择对象进行运动应用,同时手动“绘画”选项仍然可用。
Pika还允许用户编辑视频组件并扩展画布,尽管目前缺乏笔刷工具,因此其运动控制的精确性不及Runway。
关于AI训练数据的持续担忧
尽管Pika的新功能令人兴奋,但关于其视频模型使用的训练数据的问题依然存在。AI认证非营利组织Fairly Trained的首席执行官Ed Newton-Rex在社交媒体上提出了这些担忧,强调在AI训练过程中需要得到创作者和数据拥有者的同意。
随着视频AI生成公司不断创新和提升服务,竞争愈发激烈,这对用户有利,但也让一些电影行业专业人士感到警惕。著名导演泰勒·佩里因目睹Sora生成的视频而对可能因这项技术而导致的失业问题表示担忧,暂停了价值8亿美元的studio扩展计划,遭到了反对声音。