SceneSplat: инструмент понимания 3D-сцен с открытым кодом от Стэнфорда и Google 75

SceneSplat — это открытый 3D-инструмент для понимания сцен, разработанный совместно Стэнфордским университетом и Google. Его основная цель — научить 3D-модели на основе гауссовых распределений понимать команды на человеческом языке и обеспечивать преобразование текста в 3D-сцены.

Технические принципы SceneSplat

• Архитектура сквозного визуально-языкового предобучения: модель одновременно изучает языковые описания и соответствующие 3D-сцены, что позволяет ей понимать команды на естественном языке и преобразовывать их в 3D-сцены. Например, при вводе «поставь книжный шкаф у стены с окном» модель способна автоматически распознать ключевую информацию и точно разместить объект в трёхмерном пространстве.

• Кросс-модальное выравнивание признаков: объединение гауссовых 3D-представлений с визуально-языковой моделью за счёт многоуровневого извлечения признаков и механизмов кросс-модального внимания повышает способность понимать сложные языковые команды.

• Подход на основе самообучения: позволяет извлекать больше 3D-признаков из немаркированных сцен.

Наборы данных SceneSplat

• SceneSplat - 7K: первый крупномасштабный 3DGS-набор данных для indoor-сцен, содержащий 7916 сцен из семи существующих наборов данных, включая ScanNet и Matterport3D. Создание этого набора данных требует приблизительно 150 дней работы на GPU L4.

• SceneSplat - 49K: включает indoor- и outdoor-сцены из различных источников и на сегодняшний день является наиболее полным открытым набором данных, содержащим сложные и высококачественные полноценные реконструкции сцен на уровне 3DGS, что способствует развитию обобщаемого понимания сцен 3DGS.

Преимущества и особенности SceneSplat

• Интегрированное семантическое понимание: впервые реализовано применение семантического понимания в 3D-моделях на основе гауссовых распределений, что преодолевает ограничения традиционных 3D-графических систем в работе с семантикой.

• Нативная работа на 3DGS: первый крупномасштабный метод понимания indoor-сцен 3D, способный работать непосредственно на 3DGS, что исключает потери информации и вычислительные задержки, возникающие при преобразовании данных в традиционных подходах.

• Эффективная способность к обобщению: достигает современных наилучших результатов в задачах открытой лексики и семантической сегментации.

Сценарии применения SceneSplat

• AR/VR: возможность обработки 3D-облаков точек в реальном времени, ответы на вопросы на естественном языке с точной локализацией, что делает взаимодействие в AR/VR более естественным.

• Автономное вождение: помогает системам автономного вождения лучше понимать сложную 3D-среду, повышая точность принятия решений и безопасность.

• Интеллектуальные роботы: позволяет роботам понимать команды человека и более точно выполнять задачи.

• Разработка 3D-игр: быстрое создание сложных 3D-сред с помощью команд на естественном языке, что повышает эффективность разработки и возможности динамической генерации игровых миров.

Связанные ресурсы

• Ссылка на статью: https://arxiv.org/abs/2503.18052

• Домашняя страница проекта: https://unique1i.github.io/SceneSplat_webpage/

• Набор данных: https://huggingface.co/datasets/GaussianWorld/scene_splat_7k