OpenAI目前仍在展示其先进的光真实感生成视频模型Sora的片段,尽管该模型目前仅限于内部使用。在快速发展的AI视频领域,竞争对手Pika则抓住了这一机遇。
最近,Pika在其平台pika.art上推出了一项新功能,允许用户为他们生成的AI视频自动生成音效。这一增强功能为AI视频增添了重要维度,以前这些视频常常缺乏音频,需要用户通过不同的编辑软件来寻找音效。现在,Pika用户可以直接在应用内生成音频文件,简化了创作过程。
此次更新紧随Pika推出的唇同步功能之后,进一步提升了AI生成内容的质量,既适合个人创作者,也有利于企业。Pika整合了唇同步、音效、配音和视觉效果,致力于成为一体化的生成AI视频创作平台,使用户能够无需外聘摄像师或音效设计师即可完成整个项目。
Pika提供的强大功能对电影制片人尤具吸引力,用户可以消除寻找不同素材的烦恼。只需描述他们的创意,便可快速从脑海中生成所需的所有元素,而无须查找库存数据库。
目前,Pika的新音效功能仅对超级合作者计划成员或订阅58美元/月的专业用户开放,但计划将其扩展至更多用户,超越测试阶段。
Pika的AI视频如何集成音效?
Pika确认用户可以通过两种主要方式获取音效:
1. 上下文生成:AI模型将根据文本提示自动选择与生成视频最相配的音频。用户只需在输入提示时激活“音效”开关,Pika的模型将在几秒钟内提供完整的视听输出。
2. 后续添加:用户可以在创作后添加AI生成的声音。在生成或上传无声片段后,用户点击“编辑”,选择“音效”,描述所需声音,模型会生成多个供选择的选项。
音频生成的引入预计将显著改善创作过程,解决了以前从外部音频中提取的低效问题。Pika声称是第一个将生成音频作为视频输出的一部分的AI视频平台。
其他公司也在探索声音生成,ElevenLabs最近宣布开始接受文本转声音的AI功能的早期注册,而Meta也推出了一种类似的技术AudioGen。然而,二者均未推出像Pika那样的集成视频生成AI模型。
逐步推出的预期
新音效功能将逐步推出,首先面向超级合作者计划成员和Pika的专业用户。这些早期用户的反馈将帮助改进功能,以便未来提供给所有用户的更好体验。
自2023年12月推出以来,Pika不断增强其产品,以与OpenAI即将推出的Sora竞争。与ElevenLabs合作开发的唇同步功能,让用户可以为视频添加AI声音和同步动画,而新增的音效将进一步丰富这些沉浸式体验。
随着Pika的不断发展,它计划引入更多功能,已筹集5500万美元的资金,估值接近2亿美元。该公司正致力于挑战不仅是OpenAI,还有其他创意AI领域的主要参与者,包括Adobe、Runway、Stability AI和新推出的Haiper。