Hi3DGen : un framework pour générer une géométrie 3D haute fidélité à partir d'images 2D 130

Qu'est-ce que Hi3DGen ?

Hi3DGen est un cadre permettant de générer des modèles géométriques 3D haute fidélité à partir d'images 2D. Il utilise la carte de normales comme représentation intermédiaire, combinant un estimateur image-vers-normales et une méthode d'apprentissage normales-vers-géométrie pour améliorer la fidélité de la génération. De plus, il construit un jeu de données synthétiques de haute qualité appelé DetailVerse pour soutenir l'entraînement. Les expériences montrent que Hi3DGen est très performant dans la génération de détails géométriques riches, ce qui le rend adapté à des scénarios tels que la réalité virtuelle et le développement de jeux.

Fonctionnalités de Hi3DGen

• Génération 3D haute fidélité : grâce à la carte de normales comme représentation intermédiaire, combinée à des estimateurs et méthodes d'apprentissage avancés, il permet de générer des modèles géométriques 3D haute fidélité et riches en détails à partir d'images 2D.

• Forte capacité de généralisation : en adoptant une stratégie d'entraînement à deux flux qui dissocie les modes basses et hautes fréquences de l'image, le modèle fournit des résultats stables et de haute qualité dans diverses conditions d'entrée.

• Supervision géométrique efficace : grâce à une méthode d'apprentissage par diffusion latente régularisée par les normales, il fournit un signal de supervision explicite pour la génération de géométrie 3D, améliorant considérablement la précision de génération.

• Support de données de haute qualité : équipé du jeu de données synthétiques DetailVerse, contenant des structures géométriques complexes et des détails riches, offrant un soutien suffisant pour l'entraînement du modèle.

Composition du cadre Hi3DGen

• Estimateur image-vers-normales (NiRNE) : grâce à l'injection de bruit et à l'entraînement à deux flux, il dissocie les modes basses et hautes fréquences de l'image, permettant ainsi une estimation de normales stable avec une forte capacité de généralisation.

• Méthode d'apprentissage normales-vers-géométrie (NoRLD) : adopte une méthode d'apprentissage par diffusion latente régularisée par les normales, fournissant une supervision explicite de la géométrie 3D pendant l'entraînement et améliorant considérablement la fidélité de la génération.

• Pipeline de synthèse de données 3D : construit un jeu de données 3D synthétiques de haute qualité appelé DetailVerse pour soutenir l'entraînement du cadre.

Avantages techniques de Hi3DGen

• Utilisation de la carte de normales comme représentation intermédiaire : la carte de normales encode les informations d'orientation de surface, ce qui permet de combler efficacement l'écart de domaine entre les données d'entraînement synthétiques et les applications réelles, et fournit des indices géométriques plus clairs pour l'apprentissage géométrique.

• Stratégie d'entraînement à deux flux : en dissociant l'apprentissage des modes d'image basses et hautes fréquences, NiRNE est capable de générer des cartes de normales plus nettes tout en maintenant la stabilité.

• Jeu de données synthétiques de haute qualité : le jeu de données DetailVerse contient des structures géométriques complexes et des détails de surface riches, ce qui aide à entraîner des modèles plus précis.

Scénarios d'application de Hi3DGen

• Réalité virtuelle (VR) et réalité augmentée (AR) : génération rapide de scènes et d'objets 3D réalistes à partir d'images 2D.

• Développement de jeux : utilisé pour générer rapidement des modèles 3D dans les jeux à partir de concepts artistiques ou d'actifs 2D existants.

• Conception architecturale et visualisation : génération de modèles architecturaux 3D à partir de plans ou de photos, permettant aux concepteurs de produire rapidement des effets de conception.

• Effets spéciaux cinématographiques et production d'animation : génération rapide de scènes 3D complexes et de modèles de props, économisant du temps de modélisation.

• Préservation du patrimoine culturel : génération de modèles 3D haute fidélité à partir de photos d'objets patrimoniaux pour la conservation et l'exposition numériques.

Comment utiliser Hi3DGen ?

1. Accédez à la démo en ligne Hi3DGen : https://huggingface.co/spaces/Stable-X/Hi3DGen

2. Téléchargez une ou plusieurs images

3. Cliquez sur le bouton "Generate Shape", puis attendez la génération

4. Utilisez la fonction "Export Mesh" pour exporter des ressources 3D dans différents formats

Page du projet :https://stable-x.github.io/Hi3DGen/

Démo en ligne :https://huggingface.co/spaces/Stable-X/Hi3DGen

Dépôt GitHub :https://github.com/Stable-X/Hi3DGen

Article :https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf