LucidDreamer: genera escenas 3D Gaussian Splatting sin límites a partir de una imagen 120

Con la amplia adopción de dispositivos y contenidos de VR, la demanda de tecnologías de generación de escenas en 3D es cada vez más común. Sin embargo, los modelos existentes de generación de escenas 3D restringen la escena objetivo a dominios específicos, principalmente porque los conjuntos de datos de escaneos 3D que utilizan están lejos del mundo real. Para abordar esta limitación, proponemos LucidDreamer, un pipeline de generación de escenas sin dominio que aprovecha al máximo las potentes capacidades de los modelos generativos basados en difusión a gran escala existentes.

Dirección del proyecto LucidDreamer:https://luciddreamer-cvlab.github.io/

Nuestro LucidDreamer consta de dos pasos alternados: soñar y alinear.

En primer lugar, para generar imágenes consistentes en múltiples vistas a partir de la entrada, establecemos la nube de puntos como referencia geométrica para cada imagen generada. En concreto, proyectamos una parte de la nube de puntos en la vista deseada y proporcionamos la proyección como guía para la pintura interna utilizando el modelo generativo. La imagen pintada se eleva al espacio 3D utilizando un mapa de profundidad estimado, componiendo así un nuevo punto.

En segundo lugar, para agregar los nuevos puntos a la escena 3D, proponemos un algoritmo de alineación que integra de forma armónica las distintas partes de la escena 3D recién generada. La escena 3D resultante sirve como puntos iniciales para la optimización de Gaussian Splatting. En comparación con métodos anteriores de generación de escenas 3D, el Gaussian Splatting generado por LucidDreamer es muy detallado y no tiene restricciones sobre el dominio de la escena objetivo.

LucidDreamer puede aceptar una serie de prompts de texto para generar escenas, lo que permite un control detallado.

Comparación cuantitativa de escenas generadas con imágenes producidas por Stable Diffusion basado en CLIP. Realizamos una comparación cuantitativa con RGBD2 utilizando CLIP-Score y CLIP-IQA. Para CLIP-IQA, utilizamos los criterios de calidad, viveza de color y nitidez. LucidDreamer muestra resultados predominantes en todas las métricas.

Métricas de reconstrucción de Gaussian Splatting según el origen de los puntos SfM iniciales. Utilizamos COLMAP y comparamos los resultados de reconstrucción. El uso de nuestra nube de puntos muestra consistentemente mejores métricas de reconstrucción.