DiffPortrait360：1枚の人顔ポートレート画像から360度一貫した頭部ビューを生成 125

DiffPortrait360とは？

ゲーム、映画、アニメーション制作において、CGキャラクターはコンテンツ制作の中核であり、リアルさと様式化のバランスを取る必要があります。従来の多視点ステレオシステムや3Dスキャナーはリアルな人間キャラクターの作成によく使われていますが、様式化されたキャラクターはまだゼロからモデリングする必要があります。DiffPortrait360の登場は、様式化されたキャラクターを効率的に生成するための新しいアプローチを提供します。

DiffPortrait360は、1枚の人物肖像写真から360度の全方位ヘッドビュー画像を生成できる3Dヘッドビュー生成技術です。この技術は、事前に学習された潜在拡散モデルと複数の補助モジュールを組み合わせることで、高品質で様式化された3Dヘッドビュー合成を実現します。DiffPortrait360は、異なる髪型、姿勢、表情など、さまざまな複雑な入力に対応し、生成されたモデルは没入型リモートインタラクション、パーソナライズされたコンテンツ制作、ゲームやアニメーション制作など、さまざまな用途に利用できます。

方法の原理

• アーキテクチャ：DiffPortrait360は、事前に学習された潜在拡散モデル（LDM）をレンダリングのバックボーンネットワークとして使用し、二重外観R、カメラ制御C、ビュー一貫性を備えたU-Netsという3つの補助学習可能モジュールを導入しています。Rは正面と背面の画像から外観情報を抽出し、Cはカメラの姿勢を推定し、市販の3D GANを使用してレンダリングします。

• 主要な革新点：この方法はDiffPortrait3Dフレームワークに基づき、後頭部のディテールを生成するためのカスタムControlNetと、全体的な前後の一貫性を確保するための二重外観モジュールが追加されています。連続するビューシーケンスで学習を行い、後方ビューの参照画像を統合することで、堅牢な局所連続ビュー合成を実現しています。

• 学習戦略：連続サンプリング学習戦略を採用し、カメラ軌道の連続性をより適切に維持し、フレーム間の連続性に対する注意を強化することで、回転角度の変化時に外観情報が不変であることを保ちます。

優位性と特徴

• 幅広い応用：人間、様式化されたキャラクター、人型など、360度のヘッドビューを生成できます（メガネや帽子などのアクセサリーを含む）。

• 高い品質：リアルタイム自由視点レンダリング用の高品質なニューラル放射場（NeRF）を生成でき、オブジェクト合成と360度ヘッド生成において既存の最先端手法を上回ります。

• 高い堅牢性：複雑な髪型、さまざまな頭部姿勢、豊かな表情、舌などの詳細な要素を含む、さまざまな複雑な入力を処理できます。

今後の応用

• 没入型テレプレゼンス応用：高品質な360度ヘッドビューを生成することで、ユーザーにリアルな体験を提供します。

• パーソナライズされたコンテンツ制作：ユーザーが提供する1枚の肖像画像に基づいて、異なる視点を持つ3Dヘッドモデルを迅速に生成できます。

• ゲームやアニメーション制作：様式化されたキャラクターヘッドモデルを効率的に生成し、ゲームやアニメーション制作の効率と品質を向上させます。

Githubリポジトリ：https://github.com/FreedomGu/DiffPortrait360