TripoSG : générer des modèles 3D haute précision à partir d'une seule image 139

Qu'est-ce que TripoSG ?

TripoSG est une technologie open source de synthèse de formes 3D haute fidélité développée par l'équipe VAST-ai-Research, basée sur une architecture de flux rectifié à grande échelle et une conception Transformer à experts mixtes, capable de générer des modèles 3D très détaillés à partir d'une seule image d'entrée.

Fonctionnalités principales de TripoSG

• Génération haute fidélité : les maillages 3D générés présentent des caractéristiques géométriques nettes, des détails de surface fins et des structures complexes.

• Cohérence sémantique : les formes générées reflètent fidèlement la sémantique et l'apparence de l'image d'entrée.

• Forte capacité de généralisation : capable de traiter plusieurs styles d'entrée, y compris les images photo-réalistes, les dessins animés et les croquis.

• Performances robustes : permet de créer des formes cohérentes même pour des entrées complexes dotées de topologies difficiles.

Principes techniques de TripoSG

• Transformer à flux rectifié à grande échelle : TripoSG est le premier à appliquer une architecture Transformer basée sur le flux rectifié (Rectified Flow, RF) à la génération de formes 3D. Par rapport aux modèles de diffusion traditionnels, le RF offre une modélisation de chemin linéaire plus simple du bruit aux données, contribuant à un entraînement plus stable et plus efficace.

• Stratégie d'entraînement par supervision mixte : en combinant la fonction de distance signée (SDF), la normale et la perte d'Eikonal, les performances de reconstruction de l'auto-encodeur variationnel 3D (VAE) sont considérablement améliorées.

• Pipeline de traitement de données haute qualité : un pipeline complet de construction et de gouvernance des données a été développé, comprenant l'évaluation de la qualité, le filtrage des données, la réparation et l'augmentation, ainsi que la production de données SDF. Grâce à ce pipeline, un ensemble de données contenant 2 millions de paires d'échantillons d'entraînement « image-SDF » de haute qualité a été constitué.

• Architecture VAE efficace : l'utilisation de la SDF pour la représentation géométrique offre une précision supérieure à celle des grilles d'occupation voxeliques couramment utilisées auparavant.

• Modèle Transformer MoE : TripoSG est le premier modèle Transformer MoE publié dans le domaine de la 3D.

Scénarios d'application de TripoSG

• Jeux vidéo et cinéma : génération rapide d'actifs de jeu ou d'éléments d'effets spéciaux 3D, raccourcissant les cycles de développement.

• Industrie et e-commerce : transformation de croquis ou de photos d'objets réels en modèles 3D pour des aperçus de produits ou des présentations virtuelles.

• Éducation et patrimoine culturel : création de modèles pédagogiques interactifs ou de numérisation d'objets culturels, réduisant la barrière à la création de contenu 3D.

Tutoriel d'utilisation de TripoSG

1. Installation :

• Cloner le dépôt et créer un environnement conda :

git clone https://github.com/VAST-AI-Research/TripoSG.git
cd TripoSG
conda create -n tripoSG python=3.10
conda activate tripoSG

• Installer les dépendances :

pip install torch torchvision --index-url https://download.pytorch.org/whl/{your-cuda-version}
pip install -r requirements.txt

2. Démarrage rapide : générer un maillage 3D à partir d'une image :

python scripts/inference_triposg.py --image-input assets/example_data/hjswed.png

Liens connexes

Page du projet :https://yg256li.github.io/TripoSG-Page/

Code source GitHub :https://github.com/VAST-AI-Research/TripoSG

Modèle Hugging Face :https://huggingface.co/VAST-AI/TripoSG

Démo Hugging Face :https://huggingface.co/spaces/VAST-AI/TripoSG

Article scientifique :https://arxiv.org/abs/2502.06608