불과 얼마 전만 해도 3D 이미지를 생성하는 것은 복잡한 와이어프레임, 전문 소프트웨어, 강력한 하드웨어가 필요한 어려운 작업이었습니다. 그러나 이제는 상황이 크게 변했습니다.
Stability AI는 Stable Fast 3D라는 혁신적인 생성 AI 기술을 도입하여 단일 사진으로부터 3D 이미지를 단 0.5초 만에 신속하게 생성할 수 있도록 했습니다. 이는 처리 시간을 획기적으로 단축시키는 것으로, 이전 모델인 Stable Video 3D(SV3D)보다 1200배 더 빠른 결과를 제공합니다. SV3D는 유사한 출력을 생성하는 데 최대 10분이 소요되었습니다.
Stable Fast 3D의 영향은 광범위하며 디자인, 건축, 소매, 가상 현실 및 게임 개발 등 다양한 분야에 응용될 수 있습니다. 이 모델은 Stability AI의 Stable Assistant 챗봇과 Stability AI API를 통해 접근할 수 있으며, Hugging Face의 커뮤니티 라이선스를 통해서도 이용 가능합니다.
Stable Fast 3D 기술의 배경
Stable Fast 3D는 Stability AI의 TripoSR 모델을 기반으로 발전했습니다. 2023년 3월, 이 회사는 Trip AI와 협력하여 빠른 3D 자산 생성 기술을 개발하였습니다.
Stability AI 연구원들은 연구 논문에서 단일 이미지로부터 고품질 3D 메쉬를 신속하게 재구성하는 혁신적인 방법을 설명합니다. 여러 새로운 기술을 통합하여 빠른 3D 재구성에서 발생하는 일반적인 문제를 해결하고, 속도와 출력 품질 모두를 향상시킵니다.
Stable Fast 3D는 입력 이미지로부터 고해상도 트리플레인(3D 볼륨 표현)을 생성하는 고급 트랜스포머 네트워크를 사용합니다. 이 네트워크는 큰 해상도를 효과적으로 처리하면서도 계산 요구를 크게 증가시키지 않아, 세부 사항을 정밀하게 캡처하고 앨리어싱 아티팩트를 최소화합니다.
또한 이 모델은 재료와 조명을 추정하는 독특한 접근 방식을 갖추고 있습니다. 새로운 확률적 방법을 통해 재료 추정 네트워크는 전세계적인 금속과 거칠기 값을 예측하여 이미지 품질과 일관성을 향상시킵니다. 특히 Stable Fast 3D는 메쉬, 텍스처, 재료 속성과 같은 3D 이미지의 필수 요소를 통합하여 즉시 사용할 수 있는 자산으로 제공합니다.
Stability AI의 지속적인 혁신
Stability AI는 Stable Diffusion의 텍스트-이미지 생성 기술로 널리 알려져 있습니다. Stable Diffusion은 2D 이미지에 중점을 두고 있지만, 이 회사는 2023년 11월부터 3D 기능을 개발해왔습니다. 그 첫 번째 결과물이 Stable 3D였고, 그 후 Stable Video 3D가 3월에 출시되어 3D 이미지 생성 품질을 향상시키고 기본적인 카메라 팬 기능을 도입했습니다.
회사는 3D에서 그치지 않고 최근에는 시간 요소를 포함하는 Stable Video 4D를 공개하여 짧은 3D 비디오 생성의 한계를 더욱 확장했습니다.