Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten 
LucidDreamer: Grenzenlose 3D-Gaussian-Splatting-Szenen aus einem Bild erzeugen
LucidDreamer: Grenzenlose 3D-Gaussian-Splatting-Szenen aus einem Bild erzeugenEinführung
Mit der zunehmenden Verbreitung von VR-Geräten und -Inhalten wird der Bedarf an Technologien zur Generierung von 3D-Szenen immer häufiger. Bestehende 3D-Szenengenerierungsmodelle beschränken die Zielszenen jedoch auf bestimmte Domänen, was hauptsächlich daran liegt, dass die von ihnen verwendeten 3D-Scandatensätze weit von der realen Welt entfernt sind. Um diese Einschränkung zu überwinden, stellen wir LucidDreamer vor – eine domänenfreie Szenengenerierungs-Pipeline, die die Leistungsfähigkeit bestehender großskaliger diffusionsbasierter Generierungsmodelle voll ausschöpft.
LucidDreamer Projektadresse:https://luciddreamer-cvlab.github.io/
Unser LucidDreamer besteht aus zwei abwechselnden Schritten: Träumen und Ausrichten.
Zunächst setzen wir zur Erzeugung mehrfachansichtskonsistenter Bilder aus der Eingabe die Punktwolke als geometrische Referenz für jedes generierte Bild. Konkret projizieren wir einen Teil der Punktwolke auf die gewünschte Ansicht und verwenden die Projektion als Anleitung für die Inpainting-Funktion des Generierungsmodells. Die gemalten Bilder werden mithilfe der geschätzten Tiefenkarten in den 3D-Raum gehoben und bilden so einen neuen Punkt.
Zweitens schlagen wir zur Integration der neuen Punkte in die 3D-Szene einen Ausrichtungsalgorithmus vor, der die verschiedenen Teile der neu generierten 3D-Szene harmonisch zusammenfügt. Die resultierende 3D-Szene dient als Ausgangspunkt für die Optimierung des Gaussian Splatting. Im Vergleich zu früheren Methoden zur 3D-Szenengenerierung erzeugt LucidDreamer ein sehr detailliertes Gaussian Splatting ohne Einschränkung auf die Domäne der Zielszenen.
LucidDreamer kann eine Reihe von Textprompts zur Szenengenerierung entgegennehmen und ermöglicht so eine feinkörnige Steuerung.
Quantitativer Vergleich der mittels CLIP-basierter Stable Diffusion erzeugten Bilder mit den generierten Szenen. Wir vergleichen die Ergebnisse quantitativ mithilfe von CLIP-Score und CLIP-IQA mit RGBD2. Für CLIP-IQA verwenden wir die Kriterien Qualität, Farbbrillanz und Schärfe. LucidDreamer zeigt in allen Metriken dominante Ergebnisse.
Metriken für das Gaussian-Splatting-Rekonstruktion basierend auf der Quelle der initialen SfM-Punkte. Wir verwenden COLMAP und vergleichen die Rekonstruktionsergebnisse. Die Verwendung unserer Punktwolke zeigt durchgängig bessere Rekonstruktionsmetriken.
