Unique3D: Genera mallas 3D de alta calidad a partir de una única imagen 234

Unique3D genera mallas texturizadas de alta fidelidad y diversificadas a partir de imágenes salvajes de vista única en 30 segundos; el rendimiento, por supuesto, depende de los recursos de hardware disponibles.

Características principales de Unique3D:

• Generación de alta fidelidad: Unique3D logra una fidelidad de generación de vanguardia, produciendo texturas detalladas e intrincadas y geometría compleja. Esto se logra mediante un modelo de difusión multivista que genera imágenes multivista ortogonales y mapas de normales correspondientes.

• Eficiencia: el marco es altamente eficiente, capaz de producir mallas 3D de alta fidelidad en 30 segundos. Esta eficiencia se debe a la integración de un modelo feedforward rápido y un algoritmo de reconstrucción de mallas instantáneo llamado ISOMER.

• Consistencia: Unique3D garantiza la coherencia entre las vistas generadas mediante un proceso de actualización multinivel que aumenta progresivamente la resolución de las imágenes generadas. El algoritmo ISOMER integra las prioridades de color y geometría en el resultado de la malla, resolviendo las inconsistencias encontradas en métodos anteriores.

• Versatilidad: el marco demuestra una gran versatilidad y funciona bien en una amplia variedad de imágenes 2D de diferentes estilos. Numerosos experimentos lo demuestran, mostrando que Unique3D supera a los métodos existentes en fidelidad, detalle geométrico y resolución.

• Estrategia de actualización multinivel: Unique3D emplea una estrategia de actualización multinivel para mejorar progresivamente la resolución de las imágenes generadas. Esto implica ajustar el ControlNet de percepción multivista y utilizar modelos de superresolución para lograr resultados de alta resolución.

• Predicción de mapas de normales: para capturar detalles superficiales ricos, Unique3D utiliza un modelo de difusión de normales para predecir mapas de normales correspondientes a las imágenes de color multivista. Esto mejora la precisión de los detalles geométricos, especialmente en los bordes.

• Optimización ExplicitTarget: para abordar las inconsistencias multivista y refinar los detalles geométricos, Unique3D introduce la optimización ExplicitTarget. Este método asigna un objetivo de optimización único a cada vértice, guiando la dirección de la optimización de forma más robusta que los métodos tradicionales.

Características de Unique3D:

• Genera mallas texturizadas de alta fidelidad en 30 segundos.

• Entrenado en solo 5 días utilizando 8 GPU RTX4090.

• Utiliza modelos de difusión multivista y de difusión de normales para generar imágenes multivista y mapas de normales.

• Emplea un proceso de actualización multinivel para mejorar la resolución.

• Utiliza ISOMER para una reconstrucción de mallas instantánea y consistente.

Unique3D fue desarrollado conjuntamente por equipos de investigación de la Universidad de Tsinghua y AVAR Inc.

Acceso al sitio web oficial de Unique3D:

Unique3D en línea: https://huggingface.co/spaces/Wuvin/Unique3D

Dirección del proyecto Unique3D: https://wukailu.github.io/Unique3D/

Unique3D Github: https://github.com/AiuniAI/Unique3D