CADCrafter : un framework pour générer des modèles CAO paramétriques à partir d'une seule image 138

Qu'est-ce que CADCrafter ?

CADCrafter est un cadre de génération de modèles CAO paramétriques à partir d'images proposé par des chercheurs de Mokai Technology, de l'Université technologique de Nanyang à Singapour et d'autres institutions. Il est capable de générer directement, à partir d'une seule image, des modèles CAO de haute qualité et éditables, qui peuvent être compilés via un compilateur CAO en fichiers 3D prêts pour la production, résolvant ainsi le problème de la conversion d'une image vers un modèle CAO éditable.

Caractéristiques principales de CADCrafter

• Génération basée sur les caractéristiques géométriques : CADCrafter utilise un encodeur géométrique pour capturer avec précision les caractéristiques géométriques de l'image, telles que la profondeur et les normales. Ces caractéristiques améliorent non seulement la capacité de représentation géométrique du modèle, mais permettent également au modèle de mieux généraliser des données synthétiques aux images du monde réel.

• Optimisation directe des préférences (DPO) : Comme la compilation d'une séquence de paramètres CAO en un modèle CAO explicite est un processus non différentiable, CADCrafter utilise la méthode DPO pour exploiter les retours du compilateur CAO afin d'optimiser le modèle, garantissant que les instructions CAO générées présentent une meilleure compilabilité et une plus grande précision géométrique.

• Distillation de connaissances multi-vues vers vue unique : CADCrafter améliore la précision et la robustesse de l'entrée en vue unique en distillant les connaissances de l'encodeur géométrique multi-vues dans l'encodeur en vue unique.

• Contribution en matière de jeux de données : l'équipe de recherche a également collecté un jeu de données du monde réel nommé RealCAD, contenant des images multi-vues et les séquences d'instructions CAO correspondantes, afin de valider les performances du modèle.

Méthodologie de CADCrafter

CADCrafter réalise la conversion d'une image vers un modèle CAO en suivant les étapes suivantes :

• Encodage des séquences de commandes CAO : encodage des séquences de commandes CAO en séquences de paramètres discrètes et continues, traitées via un espace d'embedding.

• Encodeur conditionnel géométrique : extraction des cartes de profondeur et de normales de l'image d'entrée, en utilisant ces caractéristiques géométriques pour améliorer la compréhension de la structure géométrique par le modèle et réduire l'écart de domaine entre les données synthétiques et les images réelles.

• Débruitage du vecteur latent CAO : utilisation d'une architecture basée sur un modèle de diffusion pour débruiter le code CAO latent, cette architecture restaurant le vecteur latent d'origine par apprentissage itératif.

• Distillation de connaissances multi-vues vers vue unique : amélioration de la précision et de la robustesse de l'entrée en vue unique en distillant les connaissances de l'encodeur géométrique multi-vues dans l'encodeur géométrique en vue unique.

• Optimisation directe des préférences (DPO) : optimisation du modèle grâce aux retours du compilateur CAO, garantissant que les instructions CAO générées présentent une meilleure compilabilité et une plus grande précision géométrique.

Expériences

• Jeu de données : utilisation du jeu de données DeepCAD pour l'entraînement, et collecte d'un jeu de données du monde réel nommé RealCAD pour les tests.

• Indicateurs d'évaluation : utilisation de la précision des commandes (Acccmd), de la précision des paramètres (Accpara), de la distance de Chamfer médiane (Med CD) et du taux d'invalidité (IR) pour évaluer les performances du modèle.

• Résultats :

• Sur le jeu de données DeepCAD, CADCrafter obtient d'excellents résultats aussi bien dans les tâches multi-vues qu'en vue unique, réduisant significativement le taux d'invalidité.

• Sur le jeu de données RealCAD, bien que le modèle n'ait été entraîné que sur des données synthétiques, ses capacités de généralisation aux données du monde réel sont bonnes, maintenant une précision élevée et un faible taux d'invalidité.

• Comparé aux méthodes existantes de génération de modèles 3D à partir d'images (telles que One-2-3-45, Wonder3D et TripoSR), CADCrafter obtient de meilleures performances en termes de précision géométrique.

Scénarios d'application de CADCrafter

• Conception industrielle : génération rapide de modèles CAO éditables, accélération de la conception de prototypes et de la reconstruction de pièces.

• Modélisation d'objets du quotidien : en photographiant des objets de la vie quotidienne, génération directe de fichiers d'ingénierie utilisables pour la conception et la fabrication.

Article sur CADCrafter :https://arxiv.org/pdf/2504.04753