Помощник сценариста▸ 
AI Приложения 
AI Новости CADCrafter: фреймворк для генерации параметрических CAD-моделей по одному изображению
小编 ·
CADCrafter: фреймворк для генерации параметрических CAD-моделей по одному изображению
Что такое CADCrafter?
CADCrafter — это фреймворк для генерации параметрических CAD-моделей из изображений, предложенный исследователями из компании Мососян (Moxin Technology), Наньянского технологического университета (Сингапур) и других организаций. Он способен напрямую генерировать высококачественные, редактируемые CAD-модели из одного изображения, которые можно скомпилировать с помощью CAD-компилятора в 3D-файлы, пригодные для производства, решая задачу преобразования изображений в редактируемые CAD-модели.
Ключевые особенности CADCrafter
Генерация на основе геометрических признаков: CADCrafter использует геометрический кодировщик для точного захвата геометрических признаков изображения, таких как карты глубины и нормалей. Эти признаки не только усиливают возможности геометрического представления модели, но и позволяют модели лучше обобщать данные с синтетических на реальные изображения.
Прямая оптимизация предпочтений (DPO): Поскольку процесс компиляции последовательности параметров CAD в явную CAD-модель является недифференцируемым, CADCrafter использует метод DPO, задействующий обратную связь от CAD-компилятора для оптимизации модели, обеспечивая более высокую компилируемость и геометрическую точность генерируемых CAD-инструкций.
Дистилляция знаний из многоракурсного в одноракурсное представление: CADCrafter повышает точность и устойчивость при одноракурсном вводе за счёт переноса знаний из многоракурсного геометрического кодировщика в одноракурсный.
Вклад в наборы данных: Исследовательская группа также собрала реальный набор данных под названием RealCAD, содержащий многоракурсные изображения и соответствующие последовательности CAD-инструкций, для проверки производительности модели.
Метод исследования CADCrafter
CADCrafter реализует преобразование изображения в CAD-модель с помощью следующих шагов:
Кодирование последовательности команд CAD: последовательность команд CAD кодируется в дискретные и непрерывные последовательности параметров и обрабатывается через пространство эмбеддингов.
Геометрический условный кодировщик: извлекает карты глубины и нормалей входного изображения, используя эти геометрические признаки для улучшения понимания моделью геометрической структуры и уменьшения разрыва между синтетическими данными и реальными изображениями.
Удаление шума из латентных CAD-векторов: используется архитектура на основе диффузионной модели для удаления шума из латентного CAD-кода, при которой исходный латентный вектор восстанавливается путём итеративного обучения.
Дистилляция знаний из многоракурсного в одноракурсное представление: повышение точности и устойчивости при одноракурсном вводе за счёт переноса знаний из многоракурсного геометрического кодировщика в одноракурсный.
Прямая оптимизация предпочтений (DPO): оптимизация модели на основе обратной связи от CAD-компилятора, обеспечивающая более высокую компилируемость и геометрическую точность генерируемых CAD-инструкций.
Эксперименты
Наборы данных: для обучения использовался набор данных DeepCAD, а также был собран реальный набор данных под названием RealCAD для тестирования.
Метрики оценки: для оценки производительности модели применялись точность команд (Acccmd), точность параметров (Accpara), медианное расстояние Шамфера (Med CD) и доля неудач (IR).
Результаты:
На наборе данных DeepCAD CADCrafter показал отличные результаты как в многоракурсных, так и в одноракурсных задачах, значительно снизив долю неудач.
На наборе данных RealCAD, несмотря на то что модель обучалась только на синтетических данных, она продемонстрировала хорошую способность к обобщению на реальные данные, сохраняя высокую точность и низкую долю неудач.
По сравнению с существующими методами генерации 3D-моделей из изображений (такими как One-2-3-45, Wonder3D и TripoSR), CADCrafter показывает лучшие результаты по геометрической точности.
Сценарии применения CADCrafter
Промышленный дизайн: быстрая генерация редактируемых CAD-моделей, ускоряющая создание прототипов и восстановление деталей.
Моделирование бытовых объектов: путём фотографирования объектов повседневной жизни можно напрямую генерировать инженерные файлы, пригодные для проектирования и производства.
Статья о CADCrafter:https://arxiv.org/pdf/2504.04753
