DSO : un framework d'optimisation de modèles 3D conforme aux lois de la physique, publié par Oxford 157

Qu'est-ce que DSO ?

DSO (Direct Simulation Optimization) est une méthode publiée par l'Université d'Oxford destinée à améliorer les générateurs de modèles 3D à partir d'images (tels que TRELLIS). Elle renforce, par le biais d'une optimisation par simulation directe, la stabilité des objets 3D générés lors des simulations physiques et dans le monde réel. Elle ne nécessite aucun coût supplémentaire au moment du test et permet de produire en quelques secondes des objets 3D capables de tenir debout.

Fonctionnalités et caractéristiques de DSO

• Amélioration de la stabilité des modèles 3D : résout le problème des générateurs traditionnels incapables de produire des objets 3D tenant debout sous l'effet de la gravité, améliorant considérablement la stabilité des objets 3D générés lors des simulations physiques et de l'impression 3D.

• Efficacité : aucun coût supplémentaire n'est ajouté au moment du test, et la génération d'objets 3D stables s'effectue en quelques secondes.

• Compatibilité : optimisé à partir de générateurs de modèles 3D à partir d'images existants (tels que TRELLIS), il s'intègre de manière transparente et exploite pleinement leurs fonctionnalités et avantages d'origine.

• Fourniture de modèles pré-entraînés : deux points de contrôle de modèles pré-entraînés sont fournis, entraînés respectivement par optimisation directe des préférences (DPO) et optimisation directe de la récompense (DRO), facilitant ainsi une prise en main rapide par les utilisateurs.

Scénarios d'application de DSO

• Impression 3D : les modèles 3D générés ont plus de chances de tenir debout de manière stable après impression réelle, ce qui réduit les échecs d'impression ou le recours à des structures de support supplémentaires dus à l'instabilité du modèle, améliorant ainsi le taux de réussite et le caractère pratique de l'impression 3D.

• Réalité virtuelle et réalité augmentée : création d'objets 3D plus réalistes et stables dans les environnements virtuels, améliorant l'expérience utilisateur — par exemple, les objets placés dans une scène virtuelle peuvent exister de façon stable selon les lois de la physique.

• Développement de jeux vidéo : offre aux modèles 3D des jeux une solution davantage conforme aux règles physiques, permettant aux objets du jeu de se comporter de manière plus naturelle sous l'effet de facteurs physiques tels que la gravité, renforçant ainsi le réalisme et l'immersion du jeu.

• Conception architecturale et design industriel : aide les concepteurs à générer rapidement des prototypes de modèles 3D conformes aux exigences de stabilité physique, permettant une évaluation et une validation préliminaires de la conception, et réduisant le nombre de modifications et d'itérations causées par des problèmes de stabilité.

Tutoriel d'utilisation de DSO

1. Installation des dépendances :

• Installez les dépendances de TRELLIS : créez un environnement Python, installez la version spécifiée de PyTorch ainsi que les bibliothèques dépendantes associées, exécutez un script pour installer les autres bibliothèques requises, puis installez la bibliothèque Kaolin.

• Installez les dépendances restantes à l'aide de la commande pip install -r requirements.txt.

2. Téléchargement des modèles pré-entraînés : téléchargez les modèles pré-entraînés entraînés par DPO et DRO à l'aide des commandes git lfs install et git clone.

3. Démarrage rapide de la génération : utilisez le script example.py, chargez le modèle pré-entraîné et l'image d'entrée, effectuez le prétraitement et la génération via TrellisImageTo3DPipeline, puis exportez le modèle généré au format GLB.

4. Évaluation :

• Téléchargez le jeu de données d'évaluation.

• Générez des modèles 3D à l'aide des points de contrôle entraînés.

• Calculez les mesures de stabilité et de géométrie.

5. Entraînement :

• Générez des données d'entraînement synthétiques, comprenant l'acquisition d'images, la génération de modèles 3D ainsi que l'ajout de retours de simulation et l'enregistrement des scores de plausibilité physique.

• Lancez la tâche d'entraînement en spécifiant le répertoire de données et exécutez le script finetune.py.

Adresse Github : https://github.com/RuiningLi/dso