Apple представила Depth Pro: революционную модель ИИ, преобразующую 3D-видение.

Команда исследователей в области ИИ компании Apple представила Depth Pro — прорывную модель, которая обещает революционизировать восприятие глубины машинами. Эта технология способна оказать влияние на различные сектора, включая дополненную реальность (AR) и автономные транспортные средства.

Depth Pro создает сложные 3D-карты глубины из одного 2D-изображения всего за 0,3 секунды, исключая необходимость в традиционных данных с камер. Подробности представлены в исследовательской статье "Depth Pro: Sharp Monocular Metric Depth in Less Than a Second". Это достижение стало значительным этапом в оценке глубины по одному изображению.

Применения этой технологии очень широки, особенно в областях, где требуется актуальная пространственная осведомленность. Под руководством Алексея Бочковского и Владлена Кольтуна команда Depth Pro создала одну из самых быстрых и точных систем восприятия глубины.

В сравнительных тестах Depth Pro превзошла конкурентов, включая Marigold, Depth Anything v2 и Metric3D v2, захватывая мельчайшие детали, такие как текстура меха и сложные объекты, например, проволоки клеток для птиц. Эта удивительная точность достигается всего за долю секунды, устанавливая новый стандарт в области картографирования глубины.

Традиционная оценка глубины с помощью одного изображения часто зависит от множества изображений или метаданных, таких как фокусные расстояния. Depth Pro обходит эти проблемы, используя стандартный GPU для создания высококачественных карт глубины, безупречно детализируя малые элементы, которые обычно ускользают от других методов.

Исследователи связывают эффективность Depth Pro с инновационной архитектурой трансформера с многоуровневым восприятием, которая позволяет одновременно обрабатывать глобальные и детализированные контексты изображения, значительно превосходя более медленные и менее точные модели.

Выдающейся особенностью Depth Pro является способность оценивать как относительную, так и абсолютную глубину, что называется "метрической глубиной". Это позволяет проводить точные измерения в реальном мире, что особенно важно для приложений, таких как AR, где виртуальные объекты должны точно интегрироваться в физическое пространство. Кроме того, способность Depth Pro к нулевому обучению позволяет эффективно работать с различными изображениями без необходимости в обширной обучающей выборке.

Авторы подчеркивают: “Depth Pro создает метрические карты глубины с абсолютным масштабом на произвольных изображениях без необходимости в метаданных, таких как характеристики камеры.” Эта гибкость расширяет потенциал его применения: от улучшения AR-опыта до повышения качества распознавания препятствий в автономных транспортных средствах.

Depth Pro вызывает большой интерес в различных отраслях. В электронной коммерции это может позволить пользователям визуализировать, как мебель вписывается в их дома, всего лишь с помощью смартфона. В автомобильной промышленности возможность быстро генерировать карты глубины высокого качества может повысить навигацию и безопасность автомобилей с автопилотом.

Как заявляет исследовательская группа, “метод разработан для создания метрических карт глубины, чтобы точно представлять формы объектов и абсолютные масштабы, что значительно сокращает время и затраты, связанные с традиционным обучением ИИ-моделей.”

Одной из основных проблем в оценке глубины — так называемые "летящие пиксели", искажающие визуализацию — была успешно решена с помощью Depth Pro. Это улучшение жизненно важно для приложений, требующих высокой точности в 3D-реконструкции и виртуальных средах. Модель также прекрасно справляется с детекцией границ, обеспечивая превосходную сегментацию, что критично для задач, таких как композитинг изображений и медицинская визуализация.

В стратегическом шаге для содействия дальнейшим инновациям Apple сделала Depth Pro с открытым исходным кодом. Код модели и предобученные веса доступны на GitHub, что позволяет разработчикам и исследователям изучать и дорабатывать технологию. Репозиторий включает полные детали о архитектуре модели и предобученных контрольных точках, способствуя дальнейшему развитию на основе фундамента Apple.

Исследовательская команда приглашает изучить применения Depth Pro в таких секторах, как робототехника, производство и здравоохранение. Как они отмечают, "Мы публикуем код и веса по адресу https://github.com/apple/ml-depth-pro", сигнализируя о начале более широкого пути для этой технологии.

По мере развития ИИ Depth Pro устанавливает новый стандарт быстроты и точности в оценке глубины по одному изображению. Его способность создавать актуальные и качественные карты глубины из одиночных изображений может оказать значительное влияние на отрасли, зависящие от пространственной осведомленности.

Иллюстрируя, как передовые исследования могут трансформироваться в практические решения, Depth Pro олицетворяет будущее ИИ в улучшении взаимодействия с 3D-средами. Как заключают авторы: “Depth Pro значительно превосходит все предыдущие разработки в delineation объекта границ, включая тонкие структуры, такие как волосы, мех и растительность.” Это развитие позволяет Depth Pro преобразовать приложения от автономного вождения до AR, основательно переосмысливая взаимодействие машин и человека с трехмерными пространствами.