Hi3DGen: framework para generar geometría 3D de alta fidelidad a partir de imágenes 2D 127

¿Qué es Hi3DGen?

Hi3DGen es un marco de trabajo (framework) que genera modelos geométricos 3D de alta fidelidad a partir de imágenes 2D. Utiliza mapas de normales como representación intermedia, combinando un estimador de imagen a normales y un método de aprendizaje de normales a geometría para mejorar la fidelidad de la generación. Además, construye el conjunto de datos sintéticos de alta calidad DetailVerse para respaldar el entrenamiento. Los experimentos muestran que Hi3DGen tiene un rendimiento muy bueno en la generación de detalles geométricos丰富, lo que lo hace adecuado para escenarios como la realidad virtual y el desarrollo de videojuegos.

Características de Hi3DGen

• Generación 3D de alta fidelidad: mediante el uso de mapas de normales como representación intermedia, combinado con estimadores y métodos de aprendizaje avanzados, es capaz de generar modelos geométricos 3D de alta fidelidad y con gran cantidad de detalles a partir de imágenes 2D.

• Gran capacidad de generalización: adopta una estrategia de entrenamiento de doble flujo que desacopla los modos de baja y alta frecuencia de la imagen, lo que permite al modelo generar resultados de alta calidad de forma estable bajo diferentes condiciones de entrada.

• Supervisión geométrica eficiente: mediante un método de aprendizaje de difusión latente con regularización de normales, proporciona señales de supervisión claras para la generación de geometría 3D, mejorando significativamente la precisión de la generación.

• Soporte de datos de alta calidad: cuenta con el conjunto de datos sintético DetailVerse, que contiene estructuras geométricas complejas y abundantes detalles, proporcionando un soporte de datos suficiente para el entrenamiento del modelo.

Composición del marco de Hi3DGen

• Estimador de imagen a normales (NiRNE): mediante la inyección de ruido y el entrenamiento de doble flujo, desacopla los modos de baja y alta frecuencia de la imagen, logrando así una estimación de normales estable, clara y con gran capacidad de generalización.

• Método de aprendizaje de normales a geometría (NoRLD): adopta un método de aprendizaje de difusión latente con regularización de normales que proporciona una supervisión geométrica 3D clara durante el entrenamiento, mejorando significativamente la fidelidad de la generación.

• Pipeline de síntesis de datos 3D: construye un conjunto de datos 3D sintéticos de alta calidad llamado DetailVerse, utilizado para respaldar el entrenamiento del marco.

Ventajas técnicas de Hi3DGen

• Uso de mapas de normales como representación intermedia: los mapas de normales codifican información sobre la orientación de la superficie, lo que ayuda a reducir eficazmente la brecha de dominio entre los datos sintéticos de entrenamiento y las aplicaciones reales, y proporciona pistas geométricas más claras para el aprendizaje de geometría.

• Estrategia de entrenamiento de doble flujo: al desacoplar el aprendizaje de los modos de imagen de baja y alta frecuencia, NiRNE puede generar mapas de normales más claros manteniendo la estabilidad.

• Conjunto de datos sintéticos de alta calidad: el conjunto de datos DetailVerse contiene estructuras geométricas complejas y abundantes detalles en la superficie, lo que ayuda a entrenar modelos más precisos.

Escenarios de aplicación de Hi3DGen

• Realidad virtual (VR) y realidad aumentada (AR): generación rápida de escenas y modelos de objetos 3D realistas a partir de imágenes 2D.

• Desarrollo de videojuegos: utilizado para generar rápidamente modelos 3D del juego a partir de conceptos o assets 2D existentes.

• Diseño arquitectónico y visualización: genera modelos arquitectónicos 3D a partir de planos o fotos, ayudando a los diseñadores a crear rápidamente prototipos visuales.

• Efectos visuales y producción de animación: genera rápidamente escenas complejas y modelos de utilería en 3D, ahorrando tiempo de modelado.

• Preservación del patrimonio cultural: genera modelos 3D de alta fidelidad a partir de fotografías de artefactos, utilizados para la conservación y exhibición digital.

¿Cómo usar Hi3DGen?

1. Visita la demo online de Hi3DGen: https://huggingface.co/spaces/Stable-X/Hi3DGen

2. Sube una o varias imágenes

3. Haz clic en el botón "Generate Shape" y espera a que se complete la generación

4. Utiliza la función "Export Mesh" para exportar los recursos 3D en diferentes formatos

Página del proyecto:https://stable-x.github.io/Hi3DGen/

Demo online:https://huggingface.co/spaces/Stable-X/Hi3DGen

Repositorio de GitHub:https://github.com/Stable-X/Hi3DGen

Paper:https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf