InstantMesh : génération efficace de maillages 3D à partir d'images 98

InstantMesh est un outil basé sur une seule image, utilisant une architecture avancée de modèle de reconstruction à vues clairsemées de grande taille (LRM), pour générer rapidement des maillages 3D (Mesh). Ce cadre permet aux utilisateurs de convertir des images 2D en modèles 3D, simplifiant le processus de création de contenu 3D grâce à un traitement automatisé, ce qui est très utile pour des domaines tels que la conception de jeux, l'animation et la visualisation architecturale.

L'architecture d'InstantMesh est similaire à celle d'Instant3D, composée d'un modèle de diffusion multi-vues GM et d'un modèle de reconstruction à grande échelle à vues clairsemées GR. À partir de l'image d'entrée, le modèle de diffusion multi-vues GM génère des images multi-vues cohérentes en 3D, qui sont ensuite introduites dans le modèle de reconstruction à grande échelle à vues clairsemées GR pour reconstruire un maillage 3D de haute qualité.

Adresse pour essayer InstantMesh en ligne :https://huggingface.co/spaces/TencentARC/InstantMesh

Principales caractéristiques de l'InstantMesh :

• Génération de maillages 3D efficace : InstantMesh est capable de générer des maillages 3D à partir d'une seule image avec une vitesse et une qualité sans précédent, généralement en moins de 10 secondes. Cela est rendu possible grâce à l'intégration de modèles de diffusion multi-vues et de modèles de reconstruction à vues clairsemées disponibles sur le marché, permettant ainsi la création rapide de modèles 3D diversifiés.

• Re-topolologie automatique : InstantMesh peut automatiquement refaire la topologie de maillages complexes, ce qui en fait un outil précieux pour simplifier le processus de création de modèles 3D. Il peut gérer diverses représentations de surface d'entrée, notamment les nuages de points, les numérisations de plages et les maillages triangulaires, et exécuter immédiatement le pipeline complet, même sur des maillages comportant des centaines de milliers de faces.

• Haute qualité : les résultats expérimentaux sur des ensembles de données publics montrent qu'InstantMesh surpasse nettement, de manière qualitative et quantitative, d'autres modèles de référence de pointe pour la conversion image-vers-3D.

• Évolutivité de l'entraînement : basé sur l'architecture LRM, il offre une excellente évolutivité d'entraînement et est capable de traiter des ensembles de données à grande échelle.

• Module d'extraction d'isosurface différentiable intégré : applique directement la supervision géométrique sur la représentation du maillage, améliorant ainsi l'efficacité de l'entraînement et la qualité de la génération du maillage.

Mise en œuvre et compatibilité

• Intégration à Modo : à partir de la version 10.2, Modo a intégré l'algorithme Instant Meshes pour sa fonction de re-topolologie automatique, démontrant l'application pratique d'InstantMesh dans les logiciels professionnels.

• Logiciel open source : InstantMesh est disponible en tant que logiciel open source sur GitHub, accessible à un large éventail d'utilisateurs sur différentes plateformes (notamment Windows, Mac et Linux 5).

• Exigences techniques : pour ceux qui souhaitent utiliser InstantMesh, les spécifications techniques recommandées incluent l'utilisation de Python>=3.10, PyTorch>=2.1.0 et CUDA=12.1, ainsi que des exigences spécifiques en matière d'installation et de poids des modèles.

L'émergence d'InstantMesh annonce une nouvelle transformation dans le domaine de la modélisation et de la visualisation 3D,offrant une solution puissante et efficace pour la re-topologie automatique et la génération de maillages 3D à partir d'une seule image.Il vise à résoudre le problème du manque de données 3D et à reproduire en génération 3D le succès rencontré dans la génération d'images et de vidéos. Il combine les avantages des modèles de diffusion multi-vues et des modèles de reconstruction à vues clairsemées basés sur l'architecture LRM, ce qui permet d'améliorer significativement l'efficacité de l'entraînement et l'évolutivité tout en maintenant la qualité de la génération.