Investigadores de Adobe Logran Crear Modelos 3D a Partir de Imágenes 2D en Solo 5 Segundos Gracias a un Nuevo Avance en IA

Un equipo de investigación de Adobe Research y la Australian National University ha presentado un modelo de inteligencia artificial (IA) revolucionario que transforma una sola imagen 2D en un modelo 3D de alta calidad en solo cinco segundos. Este innovador trabajo, detallado en su artículo titulado "LRM: Large Reconstruction Model for Single Image to 3D", tiene el potencial de revolucionar sectores como los videojuegos, la animación, el diseño industrial, la realidad aumentada (AR) y la realidad virtual (VR).

Los investigadores afirman: "Imaginen si pudiéramos crear instantáneamente una forma 3D a partir de una sola imagen de cualquier objeto. Este objetivo ha impulsado una extensa investigación para encontrar un enfoque genérico y eficiente para la reconstrucción 3D".

Entrenamiento Avanzado con Conjuntos de Datos Masivos

A diferencia de los métodos tradicionales centrados en categorías específicas y conjuntos de datos más pequeños, LRM utiliza una arquitectura de red neuronal basada en transformadores escalables con más de 500 millones de parámetros. Se entrena con aproximadamente un millón de objetos 3D provenientes de los conjuntos de datos Objaverse y MVImgNet, permitiéndole predecir un campo de radiancia neural (NeRF) directamente de las imágenes de entrada.

"Esta combinación de un modelo de alta capacidad y un extenso conjunto de datos de entrenamiento hace que nuestro modelo sea altamente generalizable, permitiendo producir reconstrucciones 3D de calidad superior a partir de diversas entradas, incluyendo capturas del mundo real y modelos generativos", explican los investigadores.

Yicong Hong, el autor principal, enfatiza la importancia de LRM en el campo de la reconstrucción 3D a partir de una sola imagen, señalando: "Hasta donde sabemos, LRM es el primer modelo de reconstrucción 3D a gran escala con más de 500 millones de parámetros aprendibles, entrenado en una amplia gama de formas 3D y datos de video de diversas categorías".

Potencial Transformador en Diversas Industrias

Las aplicaciones de LRM son extensas, desde usos prácticos en diseño industrial hasta experiencias de entretenimiento y videojuegos. Esta tecnología podría agilizar la creación de modelos 3D para videojuegos y animaciones, reduciendo significativamente el tiempo y los recursos necesarios.

En el diseño industrial, LRM podría acelerar la creación de prototipos generando modelos 3D precisos a partir de bocetos 2D. En entornos AR/VR, promete mejorar las experiencias de los usuarios creando escenarios 3D complejos a partir de imágenes 2D en tiempo real. Además, la capacidad de analizar capturas "en el mundo" permite el contenido generado por el usuario, democratizando el modelado 3D. Los usuarios podrían generar potencialmente modelos de alta calidad directamente desde fotografías tomadas con sus teléfonos móviles, abriendo nuevas oportunidades creativas y comerciales.

Avances y Limitaciones

Aunque el potencial es prometedor, los investigadores reconocen que LRM tiene limitaciones, como la generación de texturas borrosas en regiones ocultas. Sin embargo, destacan el éxito de los grandes modelos basados en transformadores entrenados con vastos conjuntos de datos en el avance de las capacidades de reconstrucción 3D generalizadas.

"Esperamos que nuestra investigación inspire una mayor investigación en modelos de reconstrucción 3D impulsados por datos que puedan generalizar efectivamente a partir de imágenes arbitrarias", concluyen.

Para más información sobre las impresionantes capacidades de LRM y ejemplos de modelos 3D de alta fidelidad creados a partir de imágenes únicas, visita la página del proyecto del equipo.