最近,OpenAI推出了其创新的视频生成模型Sora,该模型在文本转视频技术方面取得了显著进展。然而,彭博社的测试揭示了Sora的一些明显局限性。比如,在一个场景中,鹦鹉飞过猴子时,鹦鹉的翅膀出现了变形,而猴子奇怪地长出了鹦鹉的尾巴。这些现象突显了Sora在理解物体物理特性方面的挑战。OpenAI的科学家比尔·皮布尔斯承认了这些问题,他表示:“确实在视频片段中存在一些奇怪的动作。”
Sora采用扩散变换器技术,将视频内容分解为一系列更小的片段,并运用去噪技术预测原始清晰图像。尽管这一方法提升了视频生成的质量,Sora仍面临众多挑战,包括物理交互的准确性、物体状态变化的一致性、长片段的连贯性、自发物体的出现、手部和身体部位的处理、计算资源的需求、模型的泛化能力以及编辑和扩展视频的能力。在复杂场景中,Sora可能会产生不现实的行为,例如篮球穿过篮筐一侧,或狗在走动时无意中相互穿透。
尽管Sora在特定场景中的表现令人印象深刻,OpenAI仍意识到需要克服一系列技术挑战。随着技术的进步,我们有理由期待Sora的光明未来。