Descubra a ImageDream: um modelo de IA que transforma fotos em impressionantes modelos 3D.

Pesquisadores de IA da ByteDance, a empresa-mãe do TikTok, apresentaram um modelo inovador chamado ImageDream, projetado para criar impressionantes modelos 3D a partir de imagens. Este modelo de ponta se destaca na geração de difusões em múltiplas perspectivas de objetos a partir de qualquer ângulo, usando apenas uma única imagem como entrada. Por exemplo, ao inserir uma foto de um bulldog com um chapéu de pirata preto, o ImageDream produz múltiplas visões do cão, criando posteriormente um modelo 3D realista com base nessas imagens.

A equipe de desenvolvimento ressalta que utilizar imagens para gerar modelos 3D oferece um método mais intuitivo e acessível para os usuários expressarem suas ideias criativas. Essa abordagem é especialmente benéfica para aqueles que encontram dificuldades em transmitir suas visões através de texto.

Embora modelos de geração 3D impulsionados por IA não sejam novidade, o ImageDream se diferencia de sistemas anteriores. A equipe reconhece a inspiração em modelos notáveis, como o Google DreamFusion, lançado em outubro passado, e o Point-E da OpenAI, que gera esculturas 3D a partir de entradas textuais. Antes do ImageDream, a ByteDance criou um modelo de geração 3D chamado MVDream, lançado em agosto, que se especializa na produção de renderizações 3D de alta qualidade a partir de descrições textuais e foi desenvolvido em colaboração com a Universidade da Califórnia, San Diego. O MVDream permite ajustes personalizados na geração 3D, utilizando ferramentas como DreamBooth3D.

O que torna o ImageDream único é sua capacidade de criar objetos 3D com geometria precisa diretamente de imagens, aprimorando o potencial de alinhamento entre imagem e texto em comparação com modelos apenas textuais, como o MVDream. O artigo de pesquisa destaca que “o ImageDream supera os geradores de modelo 3D de imagem única sem ajuste (zero-shot) existentes, como o Magic123, em termos de qualidade de geometria e textura.”

Apesar de suas impressionantes capacidades, o ImageDream tem suas limitações. Pode enfrentar dificuldades com detalhes intrincados, especialmente ao renderizar características faciais em avatares de corpo inteiro, o que indica uma necessidade de melhoria nessas áreas.

A aplicação da IA na geração 3D é uma fronteira em expansão, com modelos como o ImageDream prometendo criar ativos em ambientes de realidade virtual (VR) e realidade aumentada (AR), além de em videogames. Exemplos de objetos gerados pelo ImageDream incluem katanas, AK47s e até personagens queridos como Pikachu usando um chapéu.

Se você está interessado em explorar as diversas criações 3D produzidas pelo ImageDream, pode visitar a página do projeto dedicada da ByteDance. No entanto, é importante observar que atualmente existem problemas de acesso ao código do ImageDream nessa página, e foram feitas solicitações para esclarecimentos adicionais sobre essa questão.