CADCrafter: framework para generar modelos CAD paramétricos a partir de una sola imagen 135

¿Qué es CADCrafter?

CADCrafter es un marco de generación de modelos CAD paramétricos a partir de imágenes propuesto por investigadores de instituciones como Mochian Technology y la Universidad Tecnológica de Nanyang (NTU) de Singapur. Es capaz de generar modelos CAD editables y de alta calidad directamente a partir de una sola imagen, los cuales pueden compilarse mediante un compilador CAD en archivos 3D listos para producción, resolviendo el problema de la conversión de imágenes a modelos CAD editables.

Características principales de CADCrafter

• Generación basada en características geométricas: CADCrafter utiliza un codificador geométrico para capturar con precisión las características geométricas de la imagen, como los mapas de profundidad y de normales. Estas características no solo mejoran la capacidad de representación geométrica del modelo, sino que también permiten que el modelo generalice mejor desde datos sintéticos a imágenes del mundo real.

• Optimización Directa de Preferencias (DPO): Dado que la compilación de secuencias de parámetros CAD en un modelo CAD explícito es un proceso no diferenciable, CADCrafter utiliza el método DPO para aprovechar la retroalimentación del compilador CAD y optimizar el modelo, garantizando que las instrucciones CAD generadas tengan una mayor compilabilidad y precisión geométrica.

• Destilación de conocimiento de multivista a monovista: CADCrafter mejora la precisión y robustez de la entrada de una sola vista destilando el conocimiento del codificador geométrico multivista en un codificador monovista.

• Contribución del conjunto de datos: El equipo de investigación también recopiló un conjunto de datos del mundo real llamado RealCAD, que contiene imágenes multivista y las secuencias de instrucciones CAD correspondientes, para validar el rendimiento del modelo.

Método de investigación de CADCrafter

CADCrafter lleva a cabo la conversión de imagen a modelo CAD mediante los siguientes pasos:

• Codificación de la secuencia de comandos CAD: Se codifica la secuencia de comandos CAD en secuencias de parámetros discretas y continuas, y se procesan mediante un espacio de embeddings.

• Codificador de condiciones geométricas: Se extraen los mapas de profundidad y de normales de la imagen de entrada, aprovechando estas características geométricas para mejorar la comprensión de la estructura geométrica del modelo y reducir la brecha de dominio entre los datos sintéticos y las imágenes reales.

• Desruido del vector latente CAD: Se utiliza una arquitectura basada en modelos de difusión para desruir el código CAD latente, la cual recupera el vector latente original mediante aprendizaje iterativo.

• Destilación de conocimiento de multivista a monovista: Se mejora la precisión y robustez de la entrada de una sola vista destilando el conocimiento del codificador geométrico multivista en un codificador geométrico monovista.

• Optimización Directa de Preferencias (DPO): Se optimiza el modelo mediante la retroalimentación del compilador CAD, garantizando que las instrucciones CAD generadas tengan una mayor compilabilidad y precisión geométrica.

Experimentos

• Conjunto de datos: Se utiliza el conjunto de datos DeepCAD para el entrenamiento y se recopiló un conjunto de datos del mundo real llamado RealCAD para las pruebas.

• Métricas de evaluación: Se adoptan la exactitud de comandos (Acccmd), la exactitud de parámetros (Accpara), la distancia mediana de Chamfer (Med CD) y la tasa de inutilidad (IR) para evaluar el rendimiento del modelo.

• Resultados:

• En el conjunto de datos DeepCAD, CADCrafter tuvo un desempeño destacado tanto en tareas multivista como monovista, reduciendo significativamente la tasa de inutilidad.

• En el conjunto de datos RealCAD, aunque el modelo se entrenó únicamente con datos sintéticos, mostró una buena capacidad de generalización en datos del mundo real, manteniendo una alta exactitud y una baja tasa de inutilidad.

• En comparación con los métodos existentes de generación de modelos 3D a partir de imágenes (como One-2-3-45, Wonder3D y TripoSR), CADCrafter mostró un mejor rendimiento en precisión geométrica.

Escenarios de aplicación de CADCrafter

• Diseño industrial: Generación rápida de modelos CAD editables, acelerando el prototipado y la reconstrucción de piezas.

• Modelado de objetos cotidianos: Al fotografiar objetos de la vida cotidiana, se pueden generar directamente los archivos de ingeniería utilizables en su diseño y fabricación.

Artículo de CADCrafter:https://arxiv.org/pdf/2504.04753