CADCrafter: 단일 이미지에서 파라메트릭 CAD 모델을 생성하는 프레임워크 134

小编 · 2025-04-16

CADCrafter는 Mochix Technology, 싱가포르 난양공과대학교 등 연구진이 제안한 이미지-투-파라메트릭 CAD 생성 프레임워크입니다. 단일 이미지에서 고품질의 편집 가능한 CAD 모델을 직접 생성할 수 있으며, CAD 컴파일러를 통해 생산에 사용 가능한 3D 파일로 컴파일할 수 있어 이미지에서 편집 가능한 CAD 모델로의 변환 문제를 해결합니다.

CADCrafter: 단일 이미지에서 파라메트릭 CAD 모델을 생성하는 프레임워크

CADCrafter란 무엇인가요?

CADCrafter는 모신(Moxin) 테크, 싱가포르 난양공과대학교 등 기관의 연구원들이 제안한 이미지에서 파라메트릭 CAD 모델을 생성하는 프레임워크입니다. 단일 이미지로부터 직접 고품질의 편집 가능한 CAD 모델을 생성할 수 있으며, 이러한 모델은 CAD 컴파일러를 통해 생산에 사용 가능한 3D 파일로 컴파일할 수 있어, 이미지에서 편집 가능한 CAD 모델로의 변환 문제를 해결합니다.

CADCrafter의 핵심 특징

기하학적 특징 기반 생성: CADCrafter는 기하학적 인코더를 사용하여 깊이 및 노멀 맵과 같은 이미지 내 기하학적 특징을 정확하게 포착합니다. 이러한 특징은 모델의 기하학적 표현 능력을 강화할 뿐만 아니라, 합성 데이터에서 실제 세계 이미지로의 일반화도 가능하게 합니다.
직접 선호 최적화(DPO): CAD 파라미터 시퀀스를 명시적인 CAD 모델로 컴파일하는 과정은 미분 가능하지 않기 때문에, CADCrafter는 DPO 방법을 통해 CAD 컴파일러의 피드백을 활용하여 모델을 최적화함으로써, 생성된 CAD 명령이 더 높은 컴파일 가능성과 기하학적 정확도를 갖도록 보장합니다.
다중 뷰에서 단일 뷰로의 지식 증류: CADCrafter는 다중 뷰 기하학적 인코더의 지식을 단일 뷰 인코더로 증류하여, 단일 뷰 입력의 정확성과 견고성을 향상시킵니다.
데이터셋 기여: 연구팀은 또한 다중 뷰 이미지와 해당 CAD 명령 시퀀스를 포함하는 RealCAD이라는 실제 세계 데이터셋을 수집하여 모델 성능을 검증하는 데 사용했습니다.

CADCrafter 연구 방법

CADCrafter는 다음 단계를 통해 이미지에서 CAD 모델로의 변환을 구현합니다:

CAD 명령 시퀀스 인코딩: CAD 명령 시퀀스를 이산 및 연속 파라미터 시퀀스로 인코딩하고, 임베딩 공간을 통해 처리합니다.
기하학적 조건 인코더: 입력 이미지의 깊이 및 노멀 맵을 추출하고, 이러한 기하학적 특징을 활용하여 모델의 기하학적 구조에 대한 이해를 높이며, 합성 데이터와 실제 이미지 간의 도메인 차이를 줄입니다.
CAD 잠재 벡터 디노이징: 잠재 CAD 코드를 디노이징하기 위해 확산 모델 기반 아키텍처를 사용하며, 이 아키텍처는 반복적인 학습을 통해 원래 잠재 벡터를 복원합니다.
다중 뷰에서 단일 뷰로의 지식 증류: 다중 뷰 기하학적 인코더의 지식을 단일 뷰 기하학적 인코더로 증류하여, 단일 뷰 입력의 정확성과 견고성을 향상시킵니다.
직접 선호 최적화(DPO): CAD 컴파일러의 피드백을 통해 모델을 최적화하여, 생성된 CAD 명령이 더 높은 컴파일 가능성과 기하학적 정확도를 갖도록 보장합니다.

CADCrafter：单张图片到参数化CAD模型生成框架.webp

실험

데이터셋: DeepCAD 데이터셋을 사용하여 훈련하고, RealCAD이라는 실제 세계 데이터셋을 수집하여 테스트했습니다.
평가 지표: 명령 정확도(Acccmd), 파라미터 정확도(Accpara), 중앙값 Chamfer 거리(Med CD) 및 무효 비율(IR)을 사용하여 모델 성능을 평가했습니다.
결과:

DeepCAD 데이터셋에서 CADCrafter는 다중 뷰 및 단일 뷰 작업 모두에서 뛰어난 성능을 보였으며, 무효 비율을 크게 감소시켰습니다.
RealCAD 데이터셋에서 모델은 합성 데이터에서만 훈련되었음에도 불구하고 실제 세계 데이터에 대한 일반화 능력이 우수하여 높은 정확도와 낮은 무효 비율을 유지했습니다.
기존의 이미지에서 3D 모델을 생성하는 방법(예: One-2-3-45, Wonder3D 및 TripoSR)과 비교했을 때, CADCrafter는 기하학적 정확도 면에서 더 우수한 성능을 보였습니다.