PartCrafter：1枚の写真から複数のパーツとオブジェクトを生成する3D生成モデル 68

PartCrafterとは？

PartCrafterは、北京大学、バイトダンス、カーネギーメロン大学が共同で開発した新しい3D生成ツールです。通常のRGB画像1枚から、明確な構造と形状を持つ複数の3Dメッシュ部品を直接生成することができます。

主な機能

• 複数パーツ生成：PartCrafterは、事前の画像分割を必要とせず、単一の画像から一度に複数の独立した3Dパーツを生成できます。

• パーツレベルの操作：生成された3Dモデルは、各パーツを個別に編集できます。位置の調整、回転、拡大縮小などが可能です。

• ワンクリック生成：ユーザーは画像を提供するだけで、PartCrafterが複雑な3Dシーンを直接生成します。

• 高速生成：事前学習済みの3Dメッシュ拡散Transformer（DiT）を活用することで、PartCrafterはより高速な生成を実現します。

技術原理

• 合成潜在空間：各3Dパーツは一連の独立した潜在トークンで表現されます。これにより、生成時に各パーツが独立して発展しつつ、パーツレベルのディテールを保持できます。

• 階層的注意機構：この仕組みにより、単一パーツ内およびパーツ間で情報が整然と流れ、生成結果全体の整合性が確保されます。

• 事前学習済み3Dメッシュ拡散Transformer（DiT）に基づく設計：事前学習済みの重み、エンコーダー、デコーダーを継承しており、これらがモデルの生成能力をさらに高めています。

• エンドツーエンドのパーツ認識生成：画像1枚があれば、複数の3Dパーツを同時にノイズ除去し、単一オブジェクトから複雑な複数オブジェクトのシーンまでを直接生成できます。

データと学習

• データセット：大規模な3Dデータセットからパーツレベルのアノテーションを抽出し、約5万個のラベル付きオブジェクトと30万個の独立したパーツを含むデータセットを構築しました。

• 学習方法：カリキュラム学習戦略を採用し、モデルの性能を段階的に最適化しています。

応用シーン

• ゲーム開発：キャラクター、アイテム、シーンなど、高品質な3Dゲームアセットを迅速に生成できます。開発者は画像1枚または簡単な説明を提供するだけで、大量の3Dモデルをすぐに得ることができ、ゲーム開発のスピードが大幅に向上します。

• 建築・インテリアデザイン：建築モデルやインテリア装飾プランを迅速に生成できます。デザイナーが建築図面やデザインスケッチをアップロードすれば、すぐに3Dモデルが得られ、プランのプレゼンテーションが容易になり、クライアントがデザインの意図をより明確に理解できます。

• 映像制作：超高精細なジオメトリ詳細モデリング能力を備え、マルチビュー入力によるPBRモデル生成にも対応しているため、映像制作チームに高品質な3Dモデル素材を提供できます。

パフォーマンス

• 高効率：単一の画像から構造化された3Dモデルを生成するのに約40秒しかかかりません。

• 高精度：パーツ生成精度とシーン整合性は、既存手法と比較してそれぞれ32%、28%向上しています。

プロジェクトリンク

プロジェクトホームページ：https://wgsxm.github.io/projects/partcrafter/

GitHubリポジトリ：https://github.com/wgsxm/PartCrafter

論文リンク：https://arxiv.org/abs/2506.05573