LucidDreamer:ドメイン不要の3Dガウシアン・スプラッティングシーン生成 127

VRデバイスやコンテンツの普及に伴い、3Dシーン生成技術への需要がますます高まっています。しかし、既存の3Dシーン生成モデルは、使用されている3Dスキャンデータセットが現実世界からかけ離れているため、対象シーンを特定の領域に制限しています。この制限に対処するため、我々はLucidDreamerを提案します。これは、既存の大規模拡散ベース生成モデルの強力な機能を十分に活用する、ドメインフリーのシーン生成パイプラインです。

LucidDreamerプロジェクトアドレス：https://luciddreamer-cvlab.github.io/

我々のLucidDreamerには、夢を見るステップと位置合わせステップという2つの交互ステップがあります。

まず、入力からマルチビュー一貫性のある画像を生成するために、点群を各画像生成の幾何学的参照として設定します。具体的には、点群の一部を目的のビューに投影し、生成モデルを使用してインペインティングのガイダンスとして提供します。推定された深度マップを使用して描画された画像を3D空間に持ち上げ、新しい点を構成します。

次に、新しい点を3Dシーンに集約するために、新たに生成された3Dシーンの各部分を調和的に統合する位置合わせアルゴリズムを提案します。最終的に得られた3Dシーンは、ガウシアン スプラッティングを最適化するための初期点となります。以前の3Dシーン生成手法と比較して、LucidDreamerが生成するガウシアン スプラッティングは非常に詳細であり、対象シーンのドメインに制限されません。

LucidDreamerは、一連のテキストプロンプトを受け取ってシーンを生成することができ、細粒度の制御を実現します。

CLIPベースのStable Diffusionが生成した画像と、生成されたシーンを定量的に比較します。結果の定量比較には、CLIP-ScoreとCLIP-IQAをRGBD2とともに使用します。CLIP-IQAについては、quality、colorfulness、sharpnessの基準を使用します。LucidDreamerはすべての指標において優位な結果を示しています。

初期SfM点の由来に基づいてガウシアン スプラッティングを再構築した測定値。COLMAPを使用して再構築結果を比較します。我々の点群を使用することで、一貫してより優れた再構築指標が得られます。