LucidDreamer : générer des scènes 3D Gaussian Splatting sans frontière à partir d'une seule image 126

Avec la diffusion généralisée des équipements et contenus VR, la demande de technologies de génération de scènes 3D devient de plus en plus courante. Cependant, les modèles existants de génération de scènes 3D limitent la scène cible à un domaine spécifique, principalement parce que les ensembles de données de numérisation 3D qu'ils utilisent sont éloignés du monde réel. Pour remédier à cette limitation, nous proposons LucidDreamer, un pipeline de génération de scènes sans domaine qui exploite pleinement les puissantes capacités des modèles de génération à grande échelle basés sur la diffusion.

Adresse du projet LucidDreamer :https://luciddreamer-cvlab.github.io/

Notre LucidDreamer comporte deux étapes alternées : le rêve et l'alignement.

Tout d'abord, afin de générer des images multi-vues cohérentes à partir de l'entrée, nous utilisons le nuage de points comme référence géométrique pour chaque génération d'image. Plus précisément, nous projetons une partie du nuage de points sur la vue souhaitée et fournissons cette projection comme guide pour la peinture inpainting à l'aide du modèle génératif. L'image peinte est élevée dans l'espace 3D à l'aide de la carte de profondeur estimée, formant ainsi un nouveau nuage de points.

Ensuite, afin d'agréger les nouveaux points dans la scène 3D, nous proposons un algorithme d'alignement qui intègre harmonieusement les différentes parties de la scène 3D nouvellement générée. La scène 3D résultante sert de points initiaux pour l'optimisation par splatting gaussien. Par rapport aux méthodes précédentes de génération de scènes 3D, les gaussiennes éclatées générées par LucidDreamer sont extrêmement détaillées et ne sont pas limitées par le domaine de la scène cible.

LucidDreamer peut accepter une série d'invites textuelles pour générer des scènes, permettant ainsi un contrôle à grain fin.

Comparaison quantitative des images générées par Stable Diffusion basé sur CLIP pour les scènes générées. Nous utilisons CLIP-Score et CLIP-IQA pour comparer quantitativement les résultats avec RGBD2. Pour CLIP-IQA, nous utilisons les critères de qualité, de vivacité des couleurs et de netteté. LucidDreamer affiche des résultats dominants sur toutes les métriques.

Métriques de reconstruction des splats gaussiens en fonction de la source des points SfM initiaux. Nous utilisons COLMAP et comparons les résultats de reconstruction. L'utilisation de notre nuage de points affiche systématiquement de meilleures métriques de reconstruction.