MultiGO : une avancée dans la génération de modèles 3D humains haute fidélité à partir d'une seule image 51

小编 · 2025-05-06

MultiGO, de l'équipe HKUST(GZ), utilise une modélisation hiérarchique pour générer des modèles 3D humains haute fidélité à partir d'une seule image, en affinant le corps couche par couche, de la forme de base aux textures détaillées, résolvant ainsi le manque de détails de la reconstruction 3D classique. Sélectionné à CVPR 2025, il s'applique à l'essayage virtuel, à la génération de personnages de jeu et aux effets visuels. Grâce à un apprentissage géométrique à trois niveaux, il accroît la robustesse aux erreurs de profondeur et restaure les détails de surface au niveau sous-millimétrique, offrant une forte valeur pratique.

MultiGO : une avancée dans la génération de modèles 3D humains haute fidélité à partir d'une seule image

Qu'est-ce que MultiGO ?

La solution MultiGO de l'équipe de HKUST(GZ) utilise une approche de modélisation hiérarchique pour générer des modèles 3D humains haute fidélité à partir d'une seule image, en affinant le corps humain couche par couche, de la morphologie de base aux détails texturaux, résolvant ainsi le problème du manque de détails dans la reconstruction 3D traditionnelle. Ce成果 a été sélectionné pour CVPR 2025 et peut également être utilisé dans des domaines tels que l'essayage virtuel, la génération de personnages de jeux vidéo et les effets spéciaux cinématographiques. Grâce à un apprentissage géométrique à trois niveaux, il renforce la résistance aux erreurs de profondeur et peut restaurer les détails de surface au niveau sous-millimétrique, ce qui présente une grande valeur pratique.

MultiGO：实现了从单张图像生成高保真3D人体模型的突破.webp

Technologie MultiGO

Cadre d'apprentissage géométrique à trois niveaux

Module d'amélioration du squelette : en projetant les caractéristiques de Fourier 3D dans l'espace 2D et en combinant le maillage corporel SMPL-X comme a priori géométrique, il renforce la modélisation du squelette humain. L'encodage positionnel dans l'espace de Fourier améliore la capacité d'alignement sémantique entre le modèle 3D et l'image 2D, permettant au modèle de capturer plus précisément les caractéristiques de pose humaine.
Stratégie d'amélioration des articulations : pendant l'entraînement, des perturbations sont appliquées aux positions des points d'articulation, ce qui améliore la robustesse du modèle face aux erreurs d'estimation de profondeur. Cette stratégie, en ajustant principalement les paramètres qui influencent la perception de la profondeur, évite les reconstructions imprécises de la position des membres dues à l'ambiguïté de profondeur.
Module d'optimisation des rides : en utilisant une approche similaire au débruitage des modèles de diffusion, il considère les rides de surface comme des motifs de bruit optimisables et restaure progressivement des détails haute fréquence plus fins. Cette méthode innovante permet à MultiGO de générer des détails de surface au niveau sous-millimétrique, comblant efficacement les lacunes des méthodes traditionnelles concernant les détails haute fréquence tels que les plis des vêtements.

Restauration de détails haute précision

Grâce à sa stratégie de modélisation hiérarchique à trois niveaux, MultiGO réalise une reconstruction affinée multi-échelle, de la posture macroscopique aux détails microscopiques. Les résultats expérimentaux montrent que MultiGO a obtenu des performances de pointe sur les deux ensembles de tests CustomHuman et THuman3.0.

Principe de fonctionnement

Le module SLE projette les caractéristiques de Fourier 3D dans l'espace 2D de l'image d'entrée, permettant au modèle de reconstruction gaussien d'exploiter les connaissances a priori sur la forme humaine pour capturer avec précision la posture du corps ; la stratégie JLA applique des perturbations contrôlées pendant l'entraînement, améliorant la robustesse du modèle face aux erreurs de profondeur lors de l'inférence et améliorant l'estimation de la profondeur des articulations ; le module WLR considère le maillage grossier comme du bruit gaussien et affine les plis en conditionnant la reconstruction de textures gaussiennes de haute qualité, optimisant ainsi les détails géométriques.

Avantages de MultiGO

Reconstruction 3D humaine haute fidélité : capable de générer des modèles 3D humains haute fidélité à partir d'images monoculaires, prenant en charge la reconstruction fine de détails tels que les plis des vêtements et les textures de la peau.
Génération et ajustement rapides : prend en charge la génération rapide d'avatars 3D personnalisés et permet un ajustement flexible des détails, réduisant considérablement les coûts de production des ressources artistiques.
Adaptation multi-scénarios : convient aux scénarios d'application nécessitant une génération rapide et exigeant un haut degré de réalisme et de restauration des détails multi-échelles.

Scénarios d'application de MultiGO

Essayage virtuel et e-commerce de mode : les consommateurs n'ont qu'à télécharger une photo en pied afin de générer un modèle 3D humain haute fidélité, le système pouvant simuler automatiquement l'effet de différents vêtements.
Jeux vidéo et métavers : création rapide d'avatars 3D personnalisés à partir d'une seule photo, avec une structure hiérarchique permettant des ajustements flexibles.
Effets spéciaux cinématographiques et production virtuelle : lors de la production d'effets spéciaux, une photo monoculaire d'un acteur suffit pour reconstruire un modèle 3D haute précision, utilisé pour la capture de mouvement ou la composition de doublures ; la conception hiérarchique permet l'édition séparée de niveaux spécifiques en post-production.