CADCrafter：1枚の写真からパラメトリックCADモデルを生成するフレームワーク 136

小编 · 2025-04-16

CADCrafterは、Mochix Technology、シンガポール南洋理工大学などの研究者らが発表した画像からパラメトリックCADモデルを生成するフレームワークです。1枚の画像から高品質で編集可能なCADモデルを直接生成でき、CADコンパイラで製造可能な3Dファイルにコンパイルできます。画像から編集可能なCADモデルへの変換課題を解決します。

CADCrafter：1枚の写真からパラメトリックCADモデルを生成するフレームワーク

CADCrafterとは？

CADCrafterは、魔芯科技やシンガポール南洋理工大学などの研究者が提案した、画像からパラメトリックCADモデルを生成するフレームワークです。1枚の画像から直接、高品質で編集可能なCADモデルを生成でき、これらのモデルはCADコンパイラによって製造可能な3Dファイルにコンパイルすることができるため、画像から編集可能なCADモデルへの変換という課題を解決します。

CADCrafterの主な特徴

幾何学的特徴に基づく生成：CADCrafterは、幾何エンコーダーを使用して画像内の幾何学的特徴（深度や法線マップなど）を正確に捉えます。これらの特徴はモデルの幾何表現能力を強化するだけでなく、合成データから実世界の画像への汎化性能も向上させます。
直接選好最適化（DPO）：CADパラメータシーケンスを明示的なCADモデルにコンパイルするプロセスは微分不可能であるため、CADCrafterはDPO手法を用いてCADコンパイラのフィードバックをモデル最適化に活用し、生成されたCAD指示の高いコンパイル可能性と幾何学的精度を保証します。
マルチビューからシングルビューへの知識蒸留：CADCrafterは、マルチビュー幾何エンコーダーの知識をシングルビューエンコーダーに蒸留することで、シングルビュー入力の精度と堅牢性を向上させています。
データセットへの貢献：研究チームはRealCADと呼ばれる実世界のデータセットも収集しており、マルチビュー画像と対応するCAD指示シーケンスが含まれており、モデルの性能検証に使用されます。

CADCrafterの研究手法

CADCrafterは、以下の手順で画像からCADモデルへの変換を実現しています：

CADコマンドシーケンスのエンコード：CADコマンドシーケンスを離散的および連続的なパラメータシーケンスにエンコードし、埋め込み空間を通じて処理します。
幾何条件エンコーダー：入力画像から深度と法線マップを抽出し、これらの幾何学的特徴を利用してモデルが幾何学的構造を理解する能力を強化し、合成データと実画像間のドメインギャップを縮小します。
CAD潜在ベクトルのノイズ除去：拡散モデルベースのアーキテクチャを使用してCAD潜在コードをノイズ除去し、元の潜在ベクトルを反復学習によって復元します。
マルチビューからシングルビューへの知識蒸留：マルチビュー幾何エンコーダーの知識をシングルビュー幾何エンコーダーに蒸留することで、シングルビュー入力の精度と堅牢性を向上させます。
直接選好最適化（DPO）：CADコンパイラのフィードバックを通じてモデルを最適化し、生成されたCAD指示の高いコンパイル可能性と幾何学的精度を保証します。

CADCrafter：単一画像からパラメトリックCADモデル生成フレームワーク.webp

実験

データセット：DeepCADデータセットを使用して学習を行い、RealCADと呼ばれる実世界データセットを収集してテストに使用しました。
評価指標：コマンド精度（Acccmd）、パラメータ精度（Accpara）、中央値Chamfer距離（Med CD）、無効率（IR）を用いてモデル性能を評価しました。
結果：

DeepCADデータセットにおいて、CADCrafterはマルチビュータスクとシングルビュータスクの両方で優れた性能を示し、無効率を大幅に低下させました。
RealCADデータセットにおいて、モデルは合成データのみで学習されているにもかかわらず、実世界データに対する汎化能力は良好であり、高い精度と低い無効率を維持しました。
既存の画像から3Dモデルを生成する手法（One-2-3-45、Wonder3D、TripoSRなど）と比較して、CADCrafterは幾何学的精度において優れた性能を示しました。