PrimitiveAnything:Tencent AIPDと清華大学が共同開発した新しい3D形状生成フレームワーク 78

小编 ·

PrimitiveAnything:Tencent AIPDと清華大学が共同開発した新しい3D形状生成フレームワーク

PrimitiveAnythingは、Tencent AIプラットフォーム部門(aiPD)と清華大学が共同開発した新しい3D形状生成フレームワークです。複雑な3D形状をシンプルなパーツに分解し、再び組み合わせて完全な形状を作り出します。生成モデルは品質が高く、多様な作成方法に対応し、保存や編集も容易です。明確なパラメトリック手法と自己回帰アーキテクチャを採用しており、学習は安定かつ正確です。テキストや画像からの3D生成に対応し、新しいパーツ種別も柔軟に追加でき、多様な表現方式に適応します。

PrimitiveAnything:Tencent AIPDと清華大学が共同開発した新しい3D形状生成フレームワーク

PrimitiveAnythingとは?

PrimitiveAnythingは、テンセント人工知能プラットフォーム部(aiPD)と清華大学が共同で開発した新しい3D形状生成フレームワークです。複雑な3D形状をシンプルなパーツに分解し、それらを再組み合わせて完全な形状を作り出すことができます。このツールが生成するモデルは品質が高く、さまざまな方法で創作でき、保存や編集にも便利です。明確なパラメータ化手法と自己回帰アーキテクチャを採用し、学習プロセスの安定性と正確性を確保しています。テキストや画像からの3Dコンテンツ生成をサポートし、新しいパーツタイプを柔軟に追加して多様な表現方式に対応できます。

PrimitiveAnything:腾讯AIPD和清华大学联合开发的新型3D形状生成框架.webp

PrimitiveAnythingの主な機能

  • 高品質な3Dプリミティブ組み立て生成:高品質な3Dプリミティブ組み立てを生成でき、これらの組み立ては元のモデルに幾何学的に忠実でありながら、人間の直感的な形状理解にも合致しています。

  • 多様な3Dコンテンツ制作:テキストや画像という条件からの3D生成をサポートし、ユーザーに柔軟な制作方法を提供します。

  • 効率的な保存と編集:プリミティブ表現を使用しているため、生成された3Dモデルは保存効率が良く、編集や調整も容易です。

  • 自己回帰トランスフォーマーアーキテクチャ:自己回帰トランスフォーマーによりフレームごとに3Dプリミティブを生成し、さまざまな長さのプリミティブシーケンスを処理できるほか、新しいプリミティブタイプへの拡張も容易です。

  • 曖昧さのないパラメータ化スキーム:パラメータ化の曖昧さを排除することで、学習および生成プロセスにおける安定性と正確性を確保しています。

  • 幾何学的忠実度と意味的一貫性:生成プロセスにおいて高い幾何学的忠実度を保ち、人間の認知に合致した意味的な分解結果を生成できます。

  • モジュラー設計:フレームワークのモジュラー設計は、アーキテクチャを変更することなく新しいプリミティブタイプをシームレスに統合することをサポートし、さまざまなプリミティブ表現に適応できます。

PrimitiveAnything主要功能.webp

技術原理

  • 曖昧さのないパラメータ化スキーム:立方体、楕円柱、楕円球などの複数タイプのプリミティブを統一されたパラメータ化スキームの下で3D形状を表現します。パラメータ化に固有の曖昧さに対処するため、研究チームはプリミティブの対称性を分析し、回転パラメータのL1ノルムが最小となる一組を一意な表現として選択するという包括的なルールを開発し、学習プロセスの安定性と正確性を確保しました。

  • 自己回帰トランスフォーマーアーキテクチャ:デコーダーベースのTransformerアーキテクチャを採用し、形状特徴に基づいて可変長のプリミティブシーケンスを生成します。まず点群エンコーダーで3D形状の特徴表現を抽出し、次に自己回帰Transformerモデルがこれらの形状特徴と以前に生成されたプリミティブ情報を受け取り、次のプリミティブの特徴を予測します。プリミティブ属性間の依存関係をモデル化するため、カスケードデコーダーを使用してプリミティブのタイプ、位置、回転、スケールなどの属性を順次予測し、プリミティブ属性間の自然な相関を捉えており、人間の組み立てロジックと一致しています。

  • 自己回帰生成プロセス:プリミティブ抽象化プロセス全体をシーケンス生成タスクとして再構築しています。モデルは点群を入力条件として受け取り、終了マーカーが予測されるまでプリミティブシーケンスを自己回帰的に生成します。学習プロセスでは、クロスエントロピー損失、Chamfer距離(再構成精度用)、Gumbel - Softmax(微分可能サンプリング用)を組み合わせて使用し、シーケンス終了マーカーが生成されるまで続けます。

PrimitiveAnything技术原理.jpg

性能

家具、乗り物、建築など12カテゴリーを網羅したテストセットにおいて、PrimitiveAnythingは驚異的な性能を発揮しています。例えば、面取り距離(CD)指標では、従来手法が0.82、既存SOTAが0.45であるのに対し、PrimitiveAnythingは0.21を達成しています。ボクセルIoU指標では、従来手法が68%、既存SOTAが75%であるのに対し、PrimitiveAnythingは89%です。分割一貫性(SC)指標では、従来手法が0.63、既存SOTAが0.71であるのに対し、PrimitiveAnythingは0.92です。ストレージ圧縮率では、従来手法が1x、既存SOTAが3xであるのに対し、PrimitiveAnythingは15xを達成しています。さらに注目すべきはそのモダリティ横断生成能力で、テキストから3Dへの生成タスクにおいて、「弧状の背もたれを持つ木製ダイニングチェア」といった複雑な記述を正確に理解し、意味に合致したプリミティブ組み合わせ構造を生成できます。

PrimitiveAnythingの応用シーン

  • 3Dモデリングとデザイン:複雑な3Dモデルの「幾何学的スケルトン」を迅速に生成でき、デザイナーはディテールの仕上げに集中することができ、業務効率とデザイン速度が向上します。

  • ゲームアセット生成:ゲームデザイナーはこれを使用してさまざまなゲームシーンやキャラクターモデルを迅速に生成でき、開発効率を向上させます。プレイヤーもシンプルなジオメトリブロックの組み立て方式で新しいキャラクターやアイテムを作成でき、AIが自動的に最適化・調整して物理エンジンにシームレスに統合します。

  • ユーザー生成コンテンツ(UGC):フレームワークはテキストや画像入力からの3Dコンテンツ生成をサポートしており、ユーザーは生成結果を簡単に編集でき、ゲーム内のUGCに新たな可能性を提供します。

  • バーチャルリアリティ(VR)および拡張現実(AR):バーチャルリアリティや拡張現実の環境において、リアルな3Dオブジェクトを迅速に生成し、ユーザー体験を向上させることができます。

プロジェクトリンク

プロジェクト公式サイト:https://primitiveanything.github.io/

Githubリポジトリ:https://github.com/PrimitiveAnything/PrimitiveAnything-

HuggingFaceモデルライブラリ:https://huggingface.co/hyz317/PrimitiveAnything

arXiv技術論文:https://arxiv.org/pdf/2505.04622