SceneSplat : un outil open-source de compréhension de scènes 3D développé par Stanford et Google 73

SceneSplat est un outil open source de compréhension de scènes 3D développé conjointement par l'Université de Stanford et Google. Son objectif principal est de permettre aux modèles gaussiens 3D de comprendre les instructions en langage humain et de convertir du texte en scènes 3D.

Principes techniques de SceneSplat

• Architecture de pré-entraînement vision-langage de bout en bout : en apprenant simultanément des descriptions linguistiques et les scènes 3D correspondantes, le modèle comprend les instructions en langage naturel et les transforme en scènes 3D. Par exemple, avec l'entrée « Place la bibliothèque contre le mur près de la fenêtre », le modèle peut identifier automatiquement les informations clés et les positionner précisément dans l'espace tridimensionnel.

• Alignement de caractéristiques intermodales : la représentation gaussienne 3D est combinée à un modèle vision-langage. Grâce à l'extraction de caractéristiques multi-échelles et à un mécanisme d'attention intermodal, la compréhension d'instructions linguistiques complexes est améliorée.

• Approche d'apprentissage auto-supervisé : permet d'apprendre davantage de caractéristiques 3D à partir de scènes non annotées.

Jeux de données SceneSplat

• SceneSplat - 7K : premier jeu de données 3DGS à grande échelle pour scènes intérieures, comprenant 7 916 scènes issues de sept jeux de données existants tels que ScanNet et Matterport3D. La génération de ce jeu de données nécessite environ 150 jours d'exécution sur un GPU L4.

• SceneSplat - 49K : comprend des scènes intérieures et extérieures issues de sources variées. C'est actuellement le jeu de données open source le plus complet, contenant des reconstructions 3DGS de scènes entières, complexes et de haute qualité, capables de faire progresser la compréhension généralisable des scènes 3DGS.

Avantages et caractéristiques de SceneSplat

• Compréhension sémantique intégrée : première application de compréhension sémantique dans un modèle gaussien 3D, dépassant les limites des systèmes graphiques 3D traditionnels dans le traitement du sens.

• Fonctionnant nativement sur 3DGS : première méthode à grande échelle de compréhension de scènes intérieures 3D capable de s'exécuter directement sur 3DGS, évitant la perte d'informations et la latence de calcul liées à la conversion des données dans les méthodes traditionnelles.

• Forte capacité de généralisation : atteint les meilleurs résultats actuels lors des tests de vocabulaire ouvert et de segmentation sémantique.

Scénarios d'application de SceneSplat

• AR/VR : capable de traiter en temps réel des nuages de points 3D, de répondre aux questions en langage naturel et de localiser précisément les éléments, rendant les interactions AR/VR plus naturelles.

• Conduite autonome : aide les systèmes de conduite autonome à mieux comprendre les environnements 3D complexes, améliorant la précision des décisions et la sécurité.

• Robots intelligents : permet aux robots de comprendre les instructions humaines et d'accomplir les tâches avec plus de précision.

• Développement de jeux 3D : génère rapidement des environnements 3D complexes à partir d'instructions en langage naturel, améliorant l'efficacité du développement et la capacité de génération dynamique des mondes de jeu.

Ressources associées

• Lien vers l'article : https://arxiv.org/abs/2503.18052

• Page du projet : https://unique1i.github.io/SceneSplat_webpage/

• Jeu de données : https://huggingface.co/datasets/GaussianWorld/scene_splat_7k