Pesquisadores da Adobe Criam Modelos 3D a Partir de Imagens 2D em Apenas 5 Segundos com Novo Avanço em IA

Uma equipe de pesquisa da Adobe Research e da Australian National University revelou um modelo de inteligência artificial (IA) inovador capaz de transformar uma única imagem 2D em um modelo 3D de alta qualidade em apenas cinco segundos. Este trabalho inovador, detalhado no artigo intitulado "LRM: Large Reconstruction Model for Single Image to 3D", tem o potencial de revolucionar setores como jogos, animação, design industrial, realidade aumentada (AR) e realidade virtual (VR).

Os pesquisadores afirmam: “Imagine se pudéssemos criar instantaneamente uma forma 3D a partir de uma única imagem de qualquer objeto. Esse objetivo tem impulsionado pesquisas extensivas em busca de uma abordagem genérica e eficiente para a reconstrução 3D.”

Treinamento Avançado com Conjuntos de Dados Massivos

Ao contrário dos métodos tradicionais que se concentram em categorias específicas e conjuntos de dados menores, o LRM utiliza uma arquitetura de rede neural baseada em transformadores escaláveis com mais de 500 milhões de parâmetros. Ele é treinado em aproximadamente um milhão de objetos 3D extraídos dos conjuntos de dados Objaverse e MVImgNet, permitindo prever um campo de radiação neural (NeRF) diretamente a partir das imagens de entrada.

"Essa combinação de um modelo de alta capacidade e um amplo conjunto de dados de treinamento torna nosso modelo altamente generalizável, possibilitando produções de reconstruções 3D de qualidade superior a partir de entradas diversificadas, incluindo capturas do mundo real e modelos generativos", explicam os pesquisadores.

O autor principal, Yicong Hong, enfatiza a importância do LRM no campo da reconstrução 3D a partir de uma única imagem, observando que “até onde sabemos, o LRM é o primeiro modelo de reconstrução 3D em grande escala com mais de 500 milhões de parâmetros aprendíveis, treinado em uma vasta variedade de formas 3D e dados de vídeo de diversas categorias.”

Potencial Transformador em Diversas Indústrias

As aplicações do LRM são extensas, variando de usos práticos em design industrial a experiências envolventes em entretenimento e jogos. Essa tecnologia pode agilizar a criação de modelos 3D para videogames e animações, reduzindo significativamente o tempo e os recursos necessários.

No design industrial, o LRM pode acelerar o protótipo gerando modelos 3D precisos a partir de esboços 2D. Em ambientes AR/VR, promete aprimorar experiências do usuário ao criar cenários 3D complexos a partir de imagens 2D em tempo real. Além disso, a capacidade de analisar capturas "no mundo real" permite a geração de conteúdo pelo usuário, democratizando a modelagem 3D. Os usuários poderiam, potencialmente, gerar modelos de alta qualidade diretamente a partir de fotografias de smartphones, desbloqueando novas oportunidades criativas e comerciais.

Avanços e Limitações

Embora o potencial seja promissor, os pesquisadores admitem que o LRM possui limitações, como a geração de texturas borradas em regiões ocluídas. No entanto, destacam o sucesso de grandes modelos baseados em transformadores treinados em vastos conjuntos de dados para avanços nas capacidades de reconstrução 3D generalizadas.

"Esperamos que nossa pesquisa inspire investigações adicionais em modelos de reconstrução 3D baseados em dados que possam generalizar efetivamente a partir de imagens arbitrárias", concluem.

Para mais informações sobre as impressionantes capacidades do LRM e exemplos de modelos 3D de alta fidelidade criados a partir de imagens únicas, visite a página do projeto da equipe.