SceneSplat: herramienta open-source de comprensión de escenas 3D creada por Stanford y Google 70

小编 · 2025-09-11

SceneSplat es una herramienta open-source de comprensión de escenas 3D desarrollada conjuntamente por Stanford y Google. Permite que los modelos gaussianos 3D entiendan instrucciones humanas y conviertan texto en escenas 3D.

SceneSplat: herramienta open-source de comprensión de escenas 3D creada por Stanford y Google

SceneSplat es una herramienta de comprensión de escenas 3D de código abierto desarrollada conjuntamente por la Universidad de Stanford y Google, cuyo objetivo principal es permitir que los modelos gaussianos 3D comprendan las instrucciones en lenguaje humano y logren la conversión de texto a escenas 3D.

SceneSplat: herramienta de comprensión de escenas 3D de código abierto desarrollada conjuntamente por la Universidad de Stanford y Google

Principios técnicos de SceneSplat

Arquitectura de preentrenamiento visión-lenguaje de extremo a extremo: al aprender simultáneamente descripciones de lenguaje y sus correspondientes escenas 3D, el modelo puede entender instrucciones en lenguaje natural y transformarlas en escenas 3D. Por ejemplo, al introducir "coloca la estantería junto a la pared cercana a la ventana", el modelo puede identificar automáticamente la información clave y ubicarla con precisión en el espacio tridimensional.
Alineación de características entre modalidades: combina representaciones gaussianas 3D con modelos visión-lenguaje, mejorando la capacidad de comprender instrucciones lingüísticas complejas mediante extracción de características multiescala y mecanismos de atención entre modalidades.
Esquema de aprendizaje auto-supervisado: permite aprender más características 3D a partir de escenas no etiquetadas.

Conjunto de datos de SceneSplat

SceneSplat - 7K: el primer conjunto de datos 3DGS a gran escala de escenas interiores, con 7916 escenas provenientes de siete conjuntos de datos existentes como ScanNet y Matterport3D. Generar este conjunto de datos requiere aproximadamente 150 días de ejecución en una GPU L4.
SceneSplat - 49K: incluye escenas de interiores y exteriores de múltiples fuentes, siendo actualmente el conjunto de datos de código abierto más completo, con reconstrucciones 3DGS a nivel de escena complejas y de alta calidad, capaz de impulsar el desarrollo de la comprensión de escenas 3DGS generalizable.

Ventajas y características de SceneSplat

Comprensión semántica integrada: por primera vez se implementa la aplicación de comprensión semántica en modelos gaussianos 3D, superando las limitaciones de los sistemas gráficos 3D tradicionales en el procesamiento semántico.
Ejecución nativa en 3DGS: es el primer método a gran escala de comprensión de escenas interiores 3D que puede ejecutarse directamente en 3DGS, evitando la pérdida de información y la latencia computacional que ocurren durante la conversión de datos en los métodos tradicionales.
Capacidad de generalización eficiente: alcanza los mejores resultados actuales en pruebas de vocabulario abierto y segmentación semántica.

Escenarios de aplicación de SceneSplat

AR/VR: capaz de procesar nubes de puntos 3D en tiempo real, responder preguntas en lenguaje natural y localizar con precisión, haciendo que la interacción AR/VR sea más natural.
Conducción autónoma: ayuda a los sistemas de conducción autónoma a comprender mejor entornos 3D complejos, mejorando la precisión en la toma de decisiones y la seguridad.
Robots inteligentes: permite a los robots comprender las instrucciones humanas y completar tareas con mayor precisión.
Desarrollo de juegos 3D: genera rápidamente entornos 3D complejos mediante instrucciones en lenguaje natural, mejorando la eficiencia del desarrollo y la capacidad de generación dinámica de mundos de juego.