애플, 3D 비전을 혁신하는 게임 체인저 AI 모델 'Depth Pro' 공개

애플의 AI 연구팀이 Depth Pro라는 혁신적인 모델을 발표했습니다. 이 기술은 기계의 깊이 인식을 혁신할 잠재력을 가지고 있으며, 증강 현실(AR)과 자율주행차 등 다양한 분야에 영향을 미칠 수 있습니다.

Depth Pro는 단일 2D 이미지에서 복잡한 3D 깊이 맵을 단 0.3초 만에 생성하며, 전통적인 카메라 데이터의 필요성을 제거합니다. 연구 논문 “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second”에 자세히 설명된 이 발전은 단안 깊이 추정의 중요한 이정표로, 단일 이미지에서 깊이를 추론할 수 있게 합니다.

이 기술의 응용 분야는 매우 넓습니다. 특히 실시간 공간 인식이 필요한 분야에서의 활용이 기대됩니다. 알렉세이 보크호프스키와 블라드렌 콜툰이 이끄는 Depth Pro 팀은 깊이 인식 분야에서 가장 빠르고 정확한 시스템 중 하나를 개발했습니다.

비교 테스트에서 Depth Pro는 마리골드, Depth Anything v2, Metric3D v2를 포함한 경쟁 모델들을 능가하며, 털 질감이나 새장 철사 같은 미세한 세부 사항을 포착했습니다. 이러한 놀라운 정확도는 단 몇 초 만에 달성되어, 깊이 매핑의 새로운 기준을 설정했습니다.

전통적인 단안 깊이 추정은 흔히 여러 이미지 또는 초점 거리와 같은 메타데이터에 의존하는데, Depth Pro는 표준 GPU를 사용하여 고해상도 깊이 맵을 생성하고, 다른 방법들이 놓치는 세부 사항을 손쉽게 포착합니다.

연구진은 Depth Pro의 효율성을 혁신적인 다중 스케일 비전 트랜스포머 아키텍처에 기인한다고 밝혔으며, 이를 통해 전역 및 세부 이미지 맥락을 동시에 처리하여 보다 느리고 정확하지 않은 모델보다 크게 개선되었습니다.

Depth Pro의 눈에 띄는 기능 중 하나는 상대 및 절대 깊이를 추정할 수 있는 "메트릭 깊이" 기능입니다. 이는 AR과 같은 응용 프로그램에서 가상 객체가 물리적 공간에 정확히 통합될 수 있도록 하는 데 필수적입니다. 또한 Depth Pro의 제로샷 학습 기능 덕분에 광범위한 도메인 특정 교육 없이도 다양한 이미지에서 효과적으로 작동할 수 있습니다.

“Depth Pro는 카메라 내부 정보와 같은 메타데이터 없이 임의의 이미지에서 절대 스케일의 메트릭 깊이 맵을 생성합니다.”라고 저자들은 설명합니다. 이 유연성은 AR 경험 향상에서 자율주행차의 장애물 탐지 개선에 이르기까지 다양한 응용 가능성을 넓힙니다.

Depth Pro는 여러 산업에서 큰 반향을 일으키고 있습니다. 전자상거래에서는 사용자가 스마트폰만으로 가구가 집에 어떻게 어울리는지 시각화할 수 있게 할 것으로 보입니다. 자동차 산업에서는 고품질 깊이 맵을 빠르게 생성할 수 있어 자율주행차의 내비게이션과 안전성을 개선할 수 있습니다.

연구팀에 따르면, “이 방법은 객체 형태와 절대 스케일을 정확히 표현하는 메트릭 깊이 맵을 생성하도록 설계되어 전통적인 AI 모델 훈련에 소요되는 시간과 비용을 대폭 줄입니다.”

깊이 추정에서의 주요 도전 과제인 "플라잉 픽셀" 문제—시각을 왜곡하는—를 Depth Pro가 효과적으로 해결했습니다. 이 개선은 3D 재구성과 가상 환경에서 높은 정확성이 요구되는 응용 프로그램에 필수적입니다. 또한, 모델은 경계 탐지에서 뛰어난 성능을 보이며 이미지 매팅과 의료 영상과 같은 작업에 필요한 우수한 분할을 제공합니다.

애플은 추가 혁신을 촉진하기 위해 Depth Pro를 오픈소스로 공개했습니다. 모델의 코드와 사전 훈련된 가중치는 GitHub에서 제공되며, 개발자와 연구자들이 이 기술을 탐구하고 발전시킬 수 있도록 지원합니다. 이 저장소에는 모델 아키텍처와 사전 훈련 체크포인트에 대한 포괄적인 정보가 포함되어 있어 타인들이 애플의 기초 위에 자가 발전할 것을 장려합니다.

연구팀은 로봇공학, 제조업, 의료 분야 등 다양한 분야에서 Depth Pro의 응용 가능성을 탐구할 것을 초대합니다. 연구팀은 “https://github.com/apple/ml-depth-pro에서 코드와 가중치를 공개합니다.”라고 선언하며 이 기술이 더 넓은 여정을 시작했음을 알립니다.

AI가 계속 발전함에 따라, Depth Pro는 단안 깊이 추정에서의 속도와 정확성의 새로운 기준을 확립했습니다. 단일 이미지에서 실시간으로 고품질 깊이 맵을 생성할 수 있는 능력은 공간 인식에 의존하는 산업에 깊은 영향을 미칠 수 있습니다.

최첨단 연구가 실제 솔루션으로 전환될 수 있는 방식을 보여주는 Depth Pro는 3D 환경과의 상호 작용을 향상시키는 AI의 미래를 대표합니다. 저자들이 결론을 내리며 말하길, “Depth Pro는 털, 모발, 식물과 같은 세밀한 구조를 포함하여 객체 경계를 구분하는 모든 이전 작업을 현저히 초월합니다.” 이 발전은 Depth Pro가 자율주행에서 AR까지 광범위한 응용 분야를 변모시키고, 기계와 인간이 3차원 공간과 상호작용하는 방식을 근본적으로 재편할 수 있도록 합니다.