Hi3DGen：2D画像から高忠実度の3Dジオメトリを生成するフレームワーク 128

小编 · 2025-04-16

Hi3DGenは、2D画像から高忠実度の3Dジオメトリを生成するフレームワークです。法線マップを中間表現として用い、画像から法線を推定するモジュールと法線からジオメトリを学習するモジュールを組み合わせて生成忠実度を向上させます。さらに、学習支援用の高品質合成データセットDetailVerseも構築しています。実験では、リッチなジオメトリ詳細の生成に優れており、VRやゲーム開発などへの応用に適しています。

Hi3DGen：2D画像から高忠実度の3Dジオメトリを生成するフレームワーク

Hi3DGenとは？

Hi3DGenは、2D画像から高忠実度の3D幾何形状モデルを生成するフレームワークです。法線マップを中間表現として利用し、画像から法線への推定器と法線から幾何形状への学習手法を組み合わせることで、生成精度を向上させます。さらに、トレーニングをサポートするために、DetailVerseという高品質な合成データセットを構築しています。実験によれば、Hi3DGenは豊富な幾何ディテールを生成する面で非常に優れたパフォーマンスを発揮し、バーチャルリアリティやゲーム開発などのシナリオに適しています。

Hi3DGen：2D画像から高忠実度の3D幾何形状モデルを生成するフレームワーク.webp

Hi3DGenの主な機能

高忠実度の3D生成：法線マップを中間表現として利用し、高度な推定器と学習手法を組み合わせることで、2D画像から高忠実度でディテール豊富な3D幾何形状モデルを生成します。
強力な汎化能力：デュアルストリーム学習戦略を採用することで、画像の低周波・高周波パターンを分離し、異なる入力条件下でも安定した高品質な結果を出力できます。
効率的な幾何監視：法線正則化された潜在拡散学習手法により、3D幾何形状生成のための明確な監視信号を提供し、生成精度を大幅に向上させます。
高品質なデータサポート：複雑な幾何構造と豊富なディテールを含むDetailVerse合成データセットを備え、モデルのトレーニングに十分なデータを提供します。

Hi3DGenのフレームワーク構成

画像から法線への推定器（NiRNE）：ノイズ注入とデュアルストリーム学習により、画像の低周波・高周波パターンを分離し、汎化能力が高く、安定したクリアな法線推定を実現します。
法線から幾何形状への学習手法（NoRLD）：法線正則化された潜在拡散学習手法を採用し、学習プロセスで明確な3D幾何監視を提供することで、生成忠実度を大幅に向上させます。
3Dデータ合成パイプライン：DetailVerseという高品質な合成3Dデータセットを構築し、フレームワークのトレーニングをサポートします。

Hi3DGen：2D画像から高忠実度の3D幾何形状モデルを生成するフレームワーク.webp

Hi3DGenの技術的優位性

中間表現としての法線マップの活用：法線マップは表面の方向情報を符号化しており、合成トレーニングデータと実アプリケーション間のドメインギャップを効果的に緩和し、幾何学習により明確な幾何学的手がかりを提供します。
デュアルストリーム学習戦略：低周波と高周波の画像パターン学習を分離することで、NiRNEは安定性を維持しながらより鮮明な法線マップを生成できます。
高品質な合成データセット：DetailVerseデータセットは複雑な幾何構造と豊富な表面ディテールを含み、より正確なモデルのトレーニングに役立ちます。