Adobe 연구진, 새로운 AI 혁신으로 2D 이미지를 5초 만에 3D 모델로 변환하다

어도비 리서치와 호주 국립대학교의 연구팀이 단일 2D 이미지를 단 5초 만에 고품질 3D 모델로 변환할 수 있는 혁신적인 인공지능(AI) 모델을 발표했습니다. "LRM: Large Reconstruction Model for Single Image to 3D"라는 제목의 연구 논문에 자세히 설명된 이 작업은 게임, 애니메이션, 산업 디자인, 증강 현실(AR), 가상 현실(VR) 등의 분야를 혁신할 잠재력을 가지고 있습니다.

연구자들은 “임의의 물체의 단일 이미지로부터 즉시 3D 형상을 창조할 수 있다면 어떨까?”라고 말하며, 3D 재구성에 대한 효율적이고 범용적인 접근 방식을 찾기 위한 연구의 목표를 강조합니다.

대규모 데이터셋을 통한 고급 훈련

전통적인 방법이 특정 카테고리와 소규모 데이터셋에 집중하는 반면, LRM은 5억 개 이상의 매개변수를 가진 확장 가능한 트랜스포머 기반 신경망 아키텍처를 사용합니다. Objaverse와 MVImgNet 데이터셋에서 수집한 약 100만 개의 3D 객체로 훈련되어 입력 이미지로부터 직접 신경 방사장(NeRF)을 예측할 수 있습니다. 연구자들은 "고용량 모델과 광범위한 훈련 데이터의 조합 덕분에 우리의 모델은 다양한 입력, 현실 세계 캡처 및 생성 모델을 포함하여 프리미엄 3D 재구성을 생성하는 데 매우 일반화할 수 있습니다."라고 설명합니다.

주 저자이자 Yicong Hong은 LRM의 중요성을 강조하며 “LRM은 5억 개 이상의 학습 가능한 매개변수를 가진 최초의 대규모 3D 재구성 모델로, 다양한 카테고리의 방대한 3D 형태와 영상 데이터로 훈련되었습니다”라고 말했습니다.

산업 전반에 걸친 혁신적인 잠재력

LRM의 적용 가능성은 실용적인 산업 디자인에서 매력적인 엔터테인먼트 및 게임 경험까지 다양합니다. 이 기술은 비디오 게임과 애니메이션을 위한 3D 모델 생성을 간소화하고 시간과 자원의 소요를 크게 줄일 수 있습니다.

산업 디자인에서는 LRM이 2D 스케치에서 정확한 3D 모델을 생성하여 프로토타입 제작을 가속화할 수 있습니다. AR/VR 환경에서는 2D 이미지로부터 실시간으로 복잡한 3D 설정을 만들어 사용자 경험을 향상시킬 것입니다. 또한, “현실에서” 캡처된 이미지를 분석할 수 있는 능력은 사용자 생성 콘텐츠를 가능하게 하여 3D 모델링을 민주화할 것입니다. 사용자는 스마트폰 사진으로부터 고품질 모델을 생성할 수 있어 새로운 창의적이고 상업적인 기회를 열 수 있습니다.

진전과 한계

잠재력은 기대가 크지만 연구자들은 LRM이 차폐된 영역에서 흐릿한 텍스처 생성을 포함한 한계가 있음을 인정합니다. 그러나 그들은 방대한 데이터셋으로 훈련된 대형 트랜스포머 기반 모델이 일반화된 3D 재구성 능력을 향상시킨 성공 사례를 강조합니다. “우리의 연구가 임의의 이미지로부터 효과적으로 일반화할 수 있는 데이터 기반 3D 재구성 모델에 대한 추가 연구를 영감을 주기를 바랍니다.”라고 결론지었습니다.

LRM의 인상적인 기능과 단일 이미지로부터 생성된 고충실도 3D 모델 사례에 대한 더 많은 정보는 팀의 프로젝트 페이지를 방문하십시오.

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles