SceneSplat: Open-Source-Tool zum Verstehen von 3D-Szenen von Stanford und Google 74

SceneSplat ist ein von der Stanford University und Google gemeinsam entwickeltes Open-Source-3D-Szenenverständnis-Tool, das es 3D-Gauß-Modellen ermöglicht, menschliche Sprachbefehle zu verstehen und eine Umwandlung von Text in 3D-Szenen zu realisieren.

Technische Grundlage von SceneSplat

• End-to-End Vision-Language-Pretraining-Architektur: Durch das gleichzeitige Lernen von Sprachbeschreibungen und den zugehörigen 3D-Szenen kann das Modell Anweisungen in natürlicher Sprache verstehen und in 3D-Szenen umwandeln. Gibt man beispielsweise „Stelle das Bücherregal an die Wand am Fenster" ein, kann das Modell automatisch die wichtigsten Informationen erkennen und präzise im dreidimensionalen Raum platzieren.

• Cross-modale Merkmalsabgleichung: Durch die Kombination von 3D-Gauß-Darstellungen mit Vision-Language-Modellen sowie durch mehrskalige Merkmalsextraktion und einen cross-modalen Aufmerksamkeitsmechanismus wird das Verständnis komplexer Sprachanweisungen verbessert.

• Selbstüberwachtes Lernverfahren: Es ermöglicht das Erlernen weiterer 3D-Merkmale aus nicht annotierten Szenen.

SceneSplat-Datensätze

• SceneSplat - 7K: Der erste groß angelegte 3DGS-Datensatz für Innenszenen mit 7916 Szenen aus sieben bestehenden Datensätzen wie ScanNet und Matterport3D. Für die Erstellung dieses Datensatzes werden ungefähr 150 Tage Rechenzeit auf einer L4-GPU benötigt.

• SceneSplat - 49K: Enthält Innen- und Außenszenen aus unterschiedlichsten Quellen und ist der umfassendste verfügbare Open-Source-Datensatz. Er bietet komplexe und qualitativ hochwertige 3DGS-Rekonstruktionen auf vollständiger Szenenebene und kann die Entwicklung eines verallgemeinerbaren 3DGS-Szenenverständnisses vorantreiben.

Vorteile und Eigenschaften von SceneSplat

• Integriertes semantisches Verständnis: Erstmals wird die Anwendung des semantischen Verständnisses in 3D-Gauß-Modellen ermöglicht, wodurch die Grenzen herkömmlicher 3D-Grafiksysteme bei der Verarbeitung von Semantik überwunden werden.

• Nativ auf 3DGS lauffähig: Es ist die erste groß angelegte Methode zum Verständnis von 3D-Innenszenen, die direkt auf 3DGS läuft. Dadurch werden Informationsverluste und Rechenverzögerungen vermieden, die bei herkömmlichen Methoden durch die Datenkonvertierung entstehen.

• Hohe Generalisierungsfähigkeit: In Tests zur offenen Vokabularsegmentierung und semantischen Segmentierung werden jeweils die aktuell besten Ergebnisse erzielt.

Anwendungsszenarien von SceneSplat

• AR/VR: Ermöglicht die Echtzeit-Verarbeitung von 3D-Punktwolken, beantwortet Fragen in natürlicher Sprache und ermöglicht eine präzise Lokalisierung, wodurch AR/VR-Interaktionen natürlicher werden.

• Autonomes Fahren: Hilft autonomen Fahrsystemen, komplexe 3D-Umgebungen besser zu verstehen und verbessert die Entscheidungsgenauigkeit sowie die Sicherheit.

• Intelligente Roboter: Ermöglicht es Robotern, menschliche Anweisungen zu verstehen und Aufgaben präziser auszuführen.

• 3D-Spieleentwicklung: Durch Sprachbefehle in natürlicher Sprache können schnell komplexe 3D-Umgebungen erstellt werden, was die Entwicklungseffizienz und die Fähigkeit zur dynamischen Erzeugung von Spielwelten verbessert.

Zugehörige Ressourcen

• Paper-Link: https://arxiv.org/abs/2503.18052

• Projekt-Hauptseite: https://unique1i.github.io/SceneSplat_webpage/

• Datensatz: https://huggingface.co/datasets/GaussianWorld/scene_splat_7k