AI视频技术正在快速发展,以总部位于纽约市的Runway为例,这是一家生成式AI初创公司,致力于帮助用户和企业以多种风格制作视频。今天,Runway推出了更新版本的Gen-2基础模型,并新增了多运动笔工具。这一创新使得创作者能够为他们的AI视频项目应用多种方向和类型的运动。
多运动笔是什么?
多运动笔增强了对AI生成视频的控制,使用户能够在选定区域内指定运动。例如,用户可以对人脸进行动画处理或调整天空中云朵的运动。使用方法简单:用户只需上传静态图像,利用数字画笔在其上“绘制”运动。
一旦图像准备完毕,用户可以通过Runway的网页界面上的滑块控制自定义运动的强度和方向。每个绘制的区域可以独立设置水平和垂直运动的参数,范围从-10到+10。用户只需点击“清除”按钮即可轻松重置调整。
Gen-2模型的增强
多运动笔是在2023年11月推出的运动笔功能基础上开发的,后者最初每个视频仅允许一种运动类型。Gen-2模型于2023年3月发布,显著增强了视频功能,支持文本、视频和图像生成。从最初限制在四秒短视频,更新后用户现在可以创作最长18秒的视频。
新功能如“导演模式”允许用户控制摄像机运动的方向和速度,并提供从3D卡通到电影场景等多种视频风格的选项。Runway与Pika Labs竞争,该公司最近推出了Pika 1.0视频生成平台,以及Stability AI的Stable Video Diffusion模型。
此外,Runway还提供与Midjourney和DALL-E 3竞争的文本到图像工具。尽管这些工具已有所进步,但需要注意的是,它们生成的结果有时仍可能不一致,例如产生模糊或不完整的图像和视频。
总结
总而言之,Runway的多运动笔在AI视频制作方面代表了重要的进步,为创作者提供了更强大的工具,使他们能够进行更具动态性和吸引力的视频叙事。