MultiGO: un avance en modelos 3D humanos de alta fidelidad a partir de una sola imagen 49

小编 · 2025-05-06

MultiGO, del equipo de HKUST(GZ), utiliza modelado jerárquico para generar modelos 3D humanos de alta fidelidad a partir de una sola imagen, refinando el cuerpo desde la forma base hasta los detalles de textura por capas, y aborda la falta de detalle en la reconstrucción 3D tradicional. Aceptado en CVPR 2025, se puede aplicar a pruebas virtuales, generación de personajes de juegos y efectos visuales. Mediante un aprendizaje geométrico de tres niveles, mejora la resistencia a errores de profundidad y restaura detalles de superficie a nivel submilimétrico, con un alto valor práctico.

MultiGO: un avance en modelos 3D humanos de alta fidelidad a partir de una sola imagen

¿Qué es MultiGO?

La solución MultiGO del equipo de HKUST(GZ) utiliza un enfoque de modelado jerárquico para generar modelos 3D de alta fidelidad del cuerpo humano a partir de una sola imagen, refinando el cuerpo humano por capas desde la forma básica hasta las texturas detalladas, resolviendo el problema de la falta de detalle en la reconstrucción 3D tradicional. Este成果 fue aceptado en CVPR 2025 y también se puede aplicar en campos como la prueba virtual de ropa, la generación de personajes de juegos y los efectos especiales para cine y televisión. Mejora la resistencia a los errores de profundidad mediante un aprendizaje geométrico de tres niveles, y puede restaurar los detalles de la superficie a nivel submilimétrico, lo que tiene un gran valor práctico.

MultiGO：实现了从单张图像生成高保真3D人体模型的突破.webp

Tecnología de MultiGO

Marco de aprendizaje geométrico de tres niveles

Módulo de mejora del esqueleto: mejora el modelado del esqueleto humano proyectando características de Fourier 3D al espacio 2D y combinándolas con la malla corporal SMPL-X como priori geométrica. La codificación posicional en el espacio de Fourier mejora la alineación semántica entre el modelo 3D y la imagen 2D, lo que permite al modelo capturar con mayor precisión las características de la postura humana.
Estrategia de mejora de las articulaciones: aplica perturbaciones a las posiciones de los puntos de articulación durante el entrenamiento para mejorar la robustez del modelo frente a errores de estimación de profundidad. Esta estrategia ajusta centrándose en los parámetros que afectan a la percepción de profundidad, evitando reconstrucciones inexactas de las posiciones de las extremidades causadas por ambigüedades de profundidad.
Módulo de optimización de arrugas: adopta un método similar al de eliminación de ruido de los modelos de difusión, tratando las arrugas de la superficie como patrones de ruido optimizables y restaurando gradualmente detalles de alta frecuencia más refinados. Este método innovador permite a MultiGO generar detalles de superficie a nivel submilimétrico, compensando eficazmente las deficiencias de los métodos tradicionales en detalles de alta frecuencia como los pliegues de la ropa.

Restauración de detalles de alta precisión

Mediante una estrategia de modelado jerárquico de tres niveles, MultiGO logra una reconstrucción refinada a múltiples escalas, desde la postura macroscópica hasta los detalles microscópicos. Los resultados experimentales muestran que MultiGO ha alcanzado indicadores de rendimiento líderes en la industria en los dos conjuntos de pruebas CustomHuman y THuman3.0.

Principio de funcionamiento

El módulo SLE proyecta las características de Fourier 3D al espacio 2D de la imagen de entrada, permitiendo que el modelo de reconstrucción gaussiana aproveche el conocimiento previo sobre la forma del cuerpo humano para capturar con precisión la postura corporal; la estrategia JLA aplica perturbaciones controladas durante el entrenamiento para mejorar la robustez del modelo frente a errores de profundidad en la inferencia, mejorando la estimación de profundidad de las articulaciones humanas; el módulo WLR trata la malla rugosa como ruido gaussiano y refina los pliegues condicionándose por la reconstrucción de texturas gaussianas de alta calidad, optimizando los detalles geométricos.

Ventajas de MultiGO

Reconstrucción 3D del cuerpo humano de alta fidelidad: capaz de generar modelos 3D del cuerpo humano de alta fidelidad a partir de imágenes monoculares, compatible con la reconstrucción detallada de pliegues de ropa, texturas de piel y otros detalles.
Generación y ajuste rápidos: admite la generación rápida de avatares 3D personalizados y permite ajustes flexibles de los detalles, reduciendo significativamente los costes de producción de recursos artísticos.
Adaptación a múltiples escenarios: adecuado para escenarios de aplicación que requieren una generación rápida y altas exigencias de realismo y restauración de detalles a múltiples escalas.

Escenarios de aplicación de MultiGO

Prueba virtual de ropa y comercio electrónico de moda: los consumidores solo necesitan subir una foto de cuerpo entero para generar un modelo 3D de alta fidelidad del cuerpo humano, y el sistema puede simular automáticamente el efecto de llevar diferentes prendas.
Juegos y metaverso: creación rápida de avatares 3D personalizados a partir de una sola foto, con una estructura jerárquica que admite ajustes flexibles.
Efectos especiales cinematográficos y producción virtual: en la producción de efectos especiales, una foto de un solo punto de vista del actor es suficiente para reconstruir un modelo 3D de alta precisión, que puede usarse para captura de movimiento o síntesis de dobles, y el diseño jerárquico permite la edición independiente de capas específicas en la postproducción.