Stability AI通过Stable快速3D技术加速3D图像生成

不久前,生成三维图像是一项既复杂又耗时的任务,通常需要复杂的线框图、专业软件和强大的硬件。然而,今天这一切已发生了巨大变化。

Stability AI推出了一项革命性的生成性人工智能技术——Stable Fast 3D,它能够在仅仅半秒钟内从单张图片快速生成三维图像。这一进步在处理速度上具有显著意义,结果比之前的模型,如Stable Video 3D(SV3D),快1200倍,后者处理类似输出需耗时长达10分钟。

Stable Fast 3D的显著影响广泛,涵盖了设计、建筑、零售、虚拟现实和游戏开发等多个领域。用户可以通过Stability AI的Stable Assistant聊天机器人、Stability AI API以及在Hugging Face上的社区许可证来访问这一模型。

Stable Fast 3D背后的技术

Stable Fast 3D源于Stability AI对TripoSR模型的前期研究。今年3月,公司与Trip AI合作,开发快速的三维资产生成技术。

在研究论文中,Stability AI的研究人员描述了重建高质量三维网格的创新方法,以快速处理单幅图像。通过整合多种新技术,他们有效解决了快速三维重建过程中常见的挑战,同时提高了速度和输出质量。

Stable Fast 3D核心使用了一种先进的变换网络,能够直接从输入图像生成高分辨率的三维体积表示——即三维平面。此网络能够高效管理更大的分辨率,而不显著增加计算需求,捕捉更细致的细节,减少锯齿伪影。

此外,该模型还采用了一种独特的方法来估计材料和光照。通过一种新的概率方法,材料估计网络能够预测全局金属和粗糙度值,从而提升图像质量和一致性。值得注意的是,Stable Fast 3D还将完整的三维图像所需的关键组成部分(网格、纹理和材料属性)整合到一个简化的、可即用的资产中。

Stability AI的持续创新

Stability AI因其Stable Diffusion文本到图像生成技术而广受认可。虽然Stable Diffusion专注于二维图像,但自2023年11月以来,公司一直在推进其三维能力,从Stable 3D开始。随后于3月发布的Stable Video 3D进一步提升了三维图像生成质量,并引入了基本的相机平移功能。

Stability AI并未止步于三维技术,最近还推出了Stable Video 4D,引入了时间因素,扩展了短视频的生成能力,推动了生成性人工智能的进一步发展。

Most people like

Find AI tools in YBX