바이트댄스(BiteDance)의 AI 연구원들이 이미지로부터 놀라운 3D 모델을 생성하는 혁신적인 AI 모델, ImageDream을 공개했습니다. 이 최첨단 모델은 단 하나의 이미지만으로도 다양한 각도에서 객체의 다중 시점을 생성하는 데 탁월합니다. 예를 들어, 검은색 해적 모자를 쓴 불독 사진을 입력하면, ImageDream은 개의 여러 시점을 생성한 후, 이를 바탕으로 사실감 넘치는 3D 모델을 제작합니다.
개발팀은 이미지로 3D 모델을 생성하는 것이 사용자들이 창의적인 아이디어를 보다 직관적이고 간편하게 표현할 수 있는 방법이라고 강조합니다. 이 접근법은 글로 자신의 비전을 표현하기 어려운 이들에게 특히 유용합니다.
AI 기반 3D 생성 모델은 새로운 개념이 아니지만, ImageDream은 기존 시스템과 차별화됩니다. 팀은 지난해 10월 출시된 Google DreamFusion과 OpenAI의 Point-E와 같은 잘 알려진 모델에서 영감을 받았다고 인정합니다. ImageDream 이전에도 바이트댄스는 MVDream이라는 3D 생성 모델을 8월에 출시했으며, 이 모델은 텍스트 설명을 기반으로 고품질 3D 렌더링을 전문으로 하며, 캘리포니아 대학교 샌디에이고와 협력하여 개발되었습니다. MVDream은 DreamBooth3D와 같은 도구를 활용하여 개인화된 3D 생성을 위한 파인튜닝을 지원합니다.
ImageDream의 특징은 이미지에서 직접 정확한 기하학적 구조를 가진 3D 객체를 생성할 수 있어, MVDream과 같은 텍스트 전용 모델에 비해 이미지-텍스트 정렬 가능성을 높인다는 점입니다. 연구 논문에서는 "ImageDream은 Magic123과 같은 기존의 최신 ZERO-shot 단일 이미지 3D 모델 생성기와 비교하여 기하학과 텍스처 품질 면에서 우수하다"고 강조합니다.
그럼에도 불구하고, ImageDream은 일부 한계가 있습니다. 특히 전체 몸체 아바타의 얼굴 특징을 렌더링할 때 복잡한 세부 사항에서 어려움을 겪기도 하여, 해당 영역의 개선이 필요합니다.
AI를 활용한 3D 생성은 가상 현실(VR) 및 증강 현실(AR) 환경, 그리고 비디오 게임에서 자산을 생성하는 데 유망한 확장 영역으로, ImageDream과 같은 모델이 그 가능성에 기여하고 있습니다. ImageDream이 생성한 객체의 예로는 카타나, AK47, 그리고 모자를 쓴 피카츄와 같은 인기 캐릭터가 있습니다.
ImageDream이 제작한 다양한 3D 창작물을 탐험하려면 바이트댄스의 전용 프로젝트 페이지를 방문할 수 있습니다. 다만, 현재 이 페이지에서 ImageDream 코드에 대한 접근 문제가 있어 추가적인 설명이 요청되었습니다.