El modelo de IA de Apple reconstruye objetos 3D con iluminación realista a partir de una sola imagen

Investigadores de Apple han presentado LiTo, un modelo de IA que genera objetos 3D completos a partir de una sola imagen mientras mantiene una iluminación y reflejos realistas en diferentes ángulos de visión.

Investigadores de Apple han desarrollado un nuevo modelo de IA que puede reconstruir un objeto 3D completo a partir de una sola imagen mientras preserva efectos de iluminación realistas, como reflejos y brillos. El trabajo, presentado en el artículo de investigación LiTo: Surface Light Field Tokenization, tiene como objetivo mejorar la forma en que las máquinas representan tanto la geometría del objeto como la apariencia dependiente de la vista en un sistema unificado.

El modelo codifica la geometría y la iluminación en un espacio latente 3D unificado

El modelo LiTo introduce una representación latente 3D que captura no solo la forma de un objeto, sino también cómo la luz interactúa con su superficie desde diferentes ángulos de visión. Este enfoque aborda una limitación en métodos anteriores, que típicamente se concentran ya sea en reconstruir la geometría o en predecir una apariencia simplificada e independiente de la vista.

Al codificar los datos del campo de luz de la superficie en un conjunto compacto de vectores latentes, el sistema puede reproducir efectos dependientes de la vista, como reflejos especulares y reflexiones de Fresnel bajo condiciones de iluminación complejas. Esto permite que el objeto reconstruido mantenga un realismo visual consistente a medida que cambia el punto de vista.

El sistema reconstruye objetos 3D completos a partir de una sola imagen

A diferencia de las técnicas tradicionales de reconstrucción 3D que requieren múltiples imágenes desde diferentes ángulos, LiTo puede inferir una representación 3D completa a partir de una sola imagen de entrada. El sistema logra esto mediante un proceso de dos etapas que involucra un codificador y un decodificador.

El codificador comprime la información visual del objeto en una representación latente, capturando tanto su estructura como su comportamiento de iluminación. Luego, el decodificador reconstruye el objeto, generando tanto su geometría como su apariencia desde diferentes ángulos de visión.

Se entrena un modelo separado para predecir la representación latente apropiada directamente a partir de una sola imagen, lo que permite la reconstrucción de extremo a extremo sin necesidad de datos de entrada de múltiples vistas.

El entrenamiento utiliza datos de múltiples vistas y de iluminación submuestreados

Para entrenar el sistema, los investigadores utilizaron miles de objetos 3D representados desde 150 ángulos de visión diferentes y tres condiciones de iluminación. En lugar de alimentar todos los datos disponibles en el modelo, el proceso de entrenamiento se basó en subconjuntos muestreados aleatoriamente de datos del campo de luz de la superficie.

Estos subconjuntos fueron codificados en representaciones latentes, mientras que el decodificador fue entrenado para reconstruir el objeto completo y su apariencia bajo condiciones variables. Con el tiempo, el modelo aprendió a generalizar tanto la geometría como la iluminación dependiente de la vista a partir de información parcial.

El espacio latente permite una representación y reconstrucción eficientes

El sistema se basa en el espacio latente, donde la información visual se representa como vectores numéricos compactos. Este enfoque reduce el costo computacional mientras preserva las relaciones esenciales entre las características de los objetos y el comportamiento de la iluminación.

Al operar en este espacio comprimido, el modelo puede inferir de manera eficiente cómo debería aparecer un objeto desde diferentes puntos de vista sin almacenar explícitamente cada posible variación. Esto permite tanto un procesamiento más rápido como resultados de renderizado más consistentes.

Las comparaciones muestran una mejor representación dependiente de la vista

La investigación de Apple incluye comparaciones entre LiTo y un modelo existente llamado TRELLIS. Los resultados demuestran que LiTo produce efectos de iluminación más consistentes y realistas cuando los objetos se observan desde diferentes ángulos, particularmente en escenarios que involucran reflexiones complejas.