Unique3D : Génération de maillages 3D de haute qualité à partir d'une image unique 237

Unique3D génère des maillages texturés haute fidélité et diversifiés à partir d'une seule image sauvage en 30 secondes, bien que la vitesse d'exécution dépende de vos ressources matérielles.

Principales fonctionnalités de Unique3D :

• Génération haute fidélité : Unique3D atteint une fidélité de génération de pointe, capable de produire des textures fines et complexes ainsi que des géométries élaborées. Cela est rendu possible grâce à un modèle de diffusion multi-vues qui génère des images multi-vues orthogonales et les cartes de normales correspondantes.

• Efficacité : le framework est très efficace et capable de générer un maillage 3D haute fidélité en 30 secondes. Cette efficacité est due à l'intégration d'un modèle feed-forward rapide et d'un algorithme de reconstruction de maillage instantané appelé ISOMER.

• Cohérence : Unique3D garantit la cohérence des vues générées en utilisant un processus de mise à niveau multi-niveaux qui augmente progressivement la résolution des images générées. L'algorithme ISOMER intègre les a priori de couleur et de géométrie dans le résultat du maillage, résolvant ainsi les problèmes d'incohérence rencontrés dans les méthodes précédentes.

• Polyvalence : ce framework fait preuve d'une grande polyvalence et fonctionne bien sur une grande variété d'images 2D sauvages de styles différents. De nombreuses expériences le démontrent, montrant que Unique3D surpasse les méthodes existantes en termes de fidélité, de détails géométriques et de résolution.

• Stratégie de mise à niveau multi-niveaux : Unique3D adopte une stratégie de mise à niveau multi-niveaux pour améliorer progressivement la résolution des images générées. Cela implique d'affiner le ControlNet sensible aux multi-vues et d'utiliser un modèle de super-résolution pour obtenir une sortie haute résolution.

• Prédiction de carte de normales : afin de capturer de riches détails de surface, Unique3D utilise un modèle de diffusion de normales pour prédire les cartes de normales correspondant aux images couleur multi-vues. Cela améliore la précision des détails géométriques, en particulier au niveau des arêtes.

• Optimisation ExplicitTarget : pour résoudre les incohérences multi-vues et affiner les détails géométriques, Unique3D introduit l'optimisation ExplicitTarget. Cette méthode attribue un objectif d'optimisation unique à chaque sommet, guidant ainsi la direction d'optimisation de manière plus robuste que les méthodes traditionnelles.

Caractéristiques de Unique3D :

• Génération de maillages texturés haute fidélité en 30 secondes.

• Entraînement en seulement 5 jours avec 8 GPU RTX4090.

• Utilisation de modèles de diffusion multi-vues et de modèles de diffusion de normales pour générer des images multi-vues et des cartes de normales.

• Adoption d'un processus de mise à niveau multi-niveaux pour augmenter la résolution.

• Utilisation d'ISOMER pour une reconstruction de maillage instantanée et cohérente.

Unique3D a été développé conjointement par des équipes de recherche de l'Université Tsinghua et d'AVAR Inc.

Site officiel de Unique3D :

Unique3D en ligne : https://huggingface.co/spaces/Wuvin/Unique3D

Adresse du projet Unique3D : https://wukailu.github.io/Unique3D/

Unique3D Github : https://github.com/AiuniAI/Unique3D