CADCrafter: Framework zur Erzeugung parametrischer CAD-Modelle aus einem einzigen Bild 140

Was ist CADCrafter?

CADCrafter ist ein Bild-zu-parametrisches-CAD-Modell-Generierungsframework, das von Forschern der Mokun Technology, der Nanyang Technological University in Singapur und anderen Institutionen vorgeschlagen wurde. Es kann direkt aus einem einzelnen Bild hochwertige, bearbeitbare CAD-Modelle erzeugen, die über einen CAD-Compiler in produktionsreife 3D-Dateien kompiliert werden können, und löst damit das Problem der Umwandlung von Bildern in bearbeitbare CAD-Modelle.

Kernmerkmale von CADCrafter

• Geometriemerkmal-basierte Generierung: CADCrafter verwendet einen Geometrie-Encoder, um geometrische Merkmale wie Tiefen- und Normalenkarten aus dem Bild präzise zu erfassen. Diese Merkmale verbessern nicht nur die geometrische Repräsentationsfähigkeit des Modells, sondern ermöglichen es dem Modell auch, besser von synthetischen Daten auf reale Bilder zu generalisieren.

• Direct Preference Optimization (DPO): Da die Kompilierung von CAD-Parametersequenzen in explizite CAD-Modelle ein nicht differenzierbarer Prozess ist, nutzt CADCrafter die DPO-Methode, um das Modell mithilfe des Feedbacks des CAD-Compilers zu optimieren und sicherzustellen, dass die generierten CAD-Befehle eine höhere Kompilierbarkeit und geometrische Genauigkeit aufweisen.

• Wissensdistillation von Multi-View zu Single-View: CADCrafter verbessert die Genauigkeit und Robustheit bei Single-View-Eingaben, indem es das Wissen des Multi-View-Geometrie-Encoders in den Single-View-Encoder destilliert.

• Beitrag zum Datensatz: Das Forschungsteam hat zusätzlich einen Datensatz aus der realen Welt namens RealCAD gesammelt, der Multi-View-Bilder und die zugehörigen CAD-Befehlssequenzen enthält, um die Leistung des Modells zu validieren.

Forschungsmethodik von CADCrafter

CADCrafter realisiert die Umwandlung von Bildern in CAD-Modelle in den folgenden Schritten:

• Codierung der CAD-Befehlssequenz: Codierung der CAD-Befehlssequenz in diskrete und kontinuierliche Parametersequenzen und Verarbeitung über den Embedding-Raum.

• Geometrischer Bedingungs-Encoder: Extraktion von Tiefen- und Normalenkarten aus dem Eingabebild, Nutzung dieser geometrischen Merkmale zur Verbesserung des Verständnisses der geometrischen Struktur des Modells und zur Reduzierung der Domänenlücke zwischen synthetischen Daten und realen Bildern.

• Denoising von CAD-Latent-Vektoren: Verwendung einer diffusionsbasierten Modellarchitektur zum Denoising von latenten CAD-Codes, wobei die Architektur durch iteratives Lernen den ursprünglichen latenten Vektor wiederherstellt.

• Wissensdistillation von Multi-View zu Single-View: Verbesserung der Genauigkeit und Robustheit bei Single-View-Eingaben durch Destillation des Wissens des Multi-View-Geometrie-Encoders in den Single-View-Geometrie-Encoder.

• Direct Preference Optimization (DPO): Optimierung des Modells durch Feedback des CAD-Compilers, um sicherzustellen, dass die generierten CAD-Befehle eine höhere Kompilierbarkeit und geometrische Genauigkeit aufweisen.

Experimente

• Datensatz: Training mit dem DeepCAD-Datensatz und Sammlung eines realen Welt-Datensatzes namens RealCAD zum Testen.

• Bewertungsmetriken: Befehlsgenauigkeit (Acccmd), Parametergenauigkeit (Accpara), mediane Chamfer-Distanz (Med CD) und Invalid Rate (IR) zur Bewertung der Modellleistung.

• Ergebnisse:

• Auf dem DeepCAD-Datensatz schneidet CADCrafter sowohl bei Multi-View- als auch bei Single-View-Aufgaben hervorragend ab und reduziert die Invalid Rate deutlich.

• Auf dem RealCAD-Datensatz zeigt das Modell trotz des Trainings ausschließlich mit synthetischen Daten eine gute Generalisierungsfähigkeit auf reale Daten und behält eine hohe Genauigkeit sowie eine niedrige Invalid Rate bei.

• Im Vergleich zu bestehenden Bild-zu-3D-Modell-Generierungsmethoden (wie One-2-3-45, Wonder3D und TripoSR) zeigt CADCrafter eine bessere geometrische Genauigkeit.

Anwendungsszenarien von CADCrafter

• Industriedesign: Schnelle Erzeugung bearbeitbarer CAD-Modelle zur Beschleunigung von Prototyping und Teilewiederherstellung.

• Modellierung alltäglicher Objekte: Durch Fotografieren von Objekten des täglichen Lebens können direkt für Design und Fertigung verwendbare Konstruktionsdateien erzeugt werden.

CADCrafter Paper:https://arxiv.org/pdf/2504.04753