Откройте для себя ImageDream: ИИ-модель для преобразования фотографий в потрясающие 3D-модели.

Исследователи в области искусственного интеллекта компании ByteDance, материнской компании TikTok, представили инновационную модель ИИ под названием ImageDream, предназначенную для создания впечатляющих 3D-моделей из изображений. Эта передовая модель отлично справляется с генерацией многослойных изображений объектов с разных ракурсов, используя всего лишь одно изображение в качестве входных данных. Например, если вы введете фотографию бульдога в черной пиратской шляпе, ImageDream создаст несколько перспектив собаки, а затем сформирует реалистичную 3D-модель на основе этих видов.

Команда разработчиков подчеркивает, что использование изображений для генерации 3D-моделей предлагает более интуитивный и простой способ для пользователей передать свои творческие идеи. Этот подход особенно полезен для тех, кто испытывает трудности в выражении своих замыслов словами.

Хотя модели генерации 3D на основе ИИ не новы, ImageDream выделяется среди предыдущих систем. Команда признаёт, что черпала вдохновение из известных моделей, таких как Google DreamFusion, выпущенный в прошлом октябре, и Point-E от OpenAI, которые генерируют 3D-скульптуры на основе текстовых вводов. До появления ImageDream компания ByteDance также разработала модель генерации 3D под названием MVDream, запущенную в августе. Эта диффузионная модель специализируется на создании высококачественных 3D-визуализаций из текстовых описаний и была разработана в сотрудничестве с Университетом Калифорнии в Сан-Диего. MVDream позволяет осуществлять тонкую настройку для персонализированной генерации 3D, используя инструменты, такие как DreamBooth3D.

Что отличает ImageDream, так это способность создавать 3D-объекты с точной геометрией непосредственно из изображений, что улучшает возможности сопоставления изображений и текста по сравнению с моделями только на основе текста, такими как MVDream. В научной работе отмечается: «ImageDream превосходит существующие передовые генераторы 3D-моделей из однойzero-shot изображения, такие как Magic123, по качеству геометрии и текстуры».

Несмотря на свои внушительные возможности, ImageDream имеет и ограничения. Она может испытывать трудности с детализированными элементами, особенно при рендеринге лицевых черт на полноразмерных аватарах, что указывает на необходимость улучшений в этих областях.

Применение ИИ в генерации 3D является расширяющейся областью, и такие модели, как ImageDream, сулят перспективы создания активов для виртуальной реальности (VR) и дополненной реальности (AR), а также в видеоиграх. Примеры объектов, созданных ImageDream, включают катаны, АК-47 и даже любимых персонажей, таких как Пикачу, в шляпе.

Если вы хотите ознакомиться с различными 3D-творениями, произведенными ImageDream, вы можете посетить специализированную страницу проекта компании ByteDance. Однако обратите внимание, что в настоящее время существуют проблемы с доступом к коду ImageDream на этой странице, и запросы на получение дополнительной информации по этому вопросу уже направлены.