Unique3D：1枚の画像から高品質な3Dメッシュを生成 235

Unique3Dは、単一の野生画像から高精細で多様なテクスチャメッシュを30秒で生成できます。もちろん、処理速度はハードウェアリソースに依存します。

Unique3Dの主な機能：

• 高忠実度生成：Unique3Dは、最先端の生成忠実度を達成し、詳細で複雑なテクスチャと精巧なジオメトリを生成します。これは、直交多視点画像と対応する法線マップを生成する多視点拡散モデルによって実現されています。

• 効率性：フレームワークは高効率で、30秒以内に高忠実度の3Dメッシュを生成できます。この効率性は、高速フィードフォワードモデルとISOMERと呼ばれる即時メッシュ再構築アルゴリズムの統合によるものです。

• 一貫性：Unique3Dは、マルチレベルアップサンプリングプロセスを使用して生成画像の解像度を段階的に向上させることにより、生成されたビュー間の一貫性を保証します。ISOMERアルゴリズムは、色とジオメトリの事前情報をメッシュ結果に統合し、従来の手法で見られた不整合の問題を解決します。

• 汎用性：このフレームワークは優れた汎用性を示し、さまざまなスタイルの野生の2D画像で良好なパフォーマンスを発揮します。忠実度、ジオメトリの細部、解像度の面で既存の手法よりもUnique3Dが優れていることを示した多数実験によってこれらが証明されています。

• マルチレベルアップサンプリング戦略：Unique3Dは、生成された画像の解像度を段階的に強化するために、マルチレベルアップサンプリング戦略を採用しています。これには、多視点認識ControlNetの微調整と、高解像度出力を実現するための超解像モデルの使用が含まれます。

• 法線マップ予測：豊富な表面ディテールを捉えるために、Unique3Dは法線拡散モデルを使用して、多視点カラー画像に対応する法線マップを予測します。これにより、ジオメトリの詳細の精度が、特に向上します。

• ExplicitTarget最適化：多視点の不整合の問題に対処し、ジオメトリの詳細を洗練させるために、Unique3DはExplicitTarget最適化を導入しています。この手法は各頂点に固有の最適化ターゲットを割り当てるため、従来の手法よりも堅牢に最適化の方向性を導きます。

Unique3Dの特徴：

• 30秒以内に高忠実度のテクスチャメッシュを生成します。

• わずか8基のRTX4090 GPUを使用して5日間でトレーニング完了。

• 多視点拡散モデルと法線拡散モデルを利用して、多視点画像と法線マップを生成します。

• 解像度を向上させるためにマルチレベルアップサンプリングプロセスを採用しています。

• ISOMERを使用して、即時かつ一貫したメッシュ再構築を実行します。

Unique3Dは、清華大学とAVAR Inc.の研究チームによって共同で開発されました。

Unique3D公式サイトの入口：

Unique3Dオンライン利用：https://huggingface.co/spaces/Wuvin/Unique3D

Unique3Dプロジェクトアドレス：https://wukailu.github.io/Unique3D/

Unique3D Github：https://github.com/AiuniAI/Unique3D