SceneSplat: 스탠포드 대학과 Google이 공동 개발한 오픈소스 3D 씬 이해 도구 69

SceneSplat은 스탠포드대학교와 구글이 공동 개발한 오픈소스 3D 장면 이해 도구로, 주로 3D 가우시안 모델이 인간의 언어 명령을 이해하고 텍스트에서 3D 장면으로 변환할 수 있도록 합니다.

SceneSplat 기술 원리

• 엔드 투 엔드 비전-언어 사전 학습 아키텍처: 언어 설명과 이에 해당하는 3D 장면을 동시에 학습하여 모델이 자연어 명령을 이해하고 3D 장면으로 변환할 수 있도록 합니다. 예를 들어 "책장을 창가 벽 쪽에 배치해 주세요"라고 입력하면, 모델이 핵심 정보를 자동으로 식별하여 3차원 공간에 정확하게 배치합니다.

• 크로스 모달 특징 정렬: 3D 가우시안 표현과 비전-언어 모델을 결합하고, 다중 스케일 특징 추출 및 크로스 모달 어텐션 메커니즘을 통해 복잡한 언어 명령에 대한 이해 능력을 향상시킵니다.

• 자기 지도 학습方案: 레이블이 없는 장면에서도 더 많은 3D 특징을 학습할 수 있습니다.

SceneSplat 데이터셋

• SceneSplat - 7K: 최초의 실내 장면 대규모 3DGS 데이터셋으로, ScanNet 및 Matterport3D 등 7개의 기존 데이터셋에서 가져온 7916개의 장면을 포함합니다. 이 데이터셋을 생성하려면 L4 GPU에서 약 150일 정도 실행해야 합니다.

• SceneSplat - 49K: 다양한 출처의 실내외 장면을 포함하며, 현재 가장 포괄적인 오픈소스 데이터셋으로, 복잡하고 고품질의 완전한 장면 수준의 3DGS 재구성 콘텐츠를 갖추고 있어 범용화 가능한 3DGS 장면 이해 발전을 촉진합니다.

SceneSplat 장점 및 특징

• 의미 이해 통합: 3D 가우시안 모델에서 의미 이해 응용을 최초로 구현하여, 전통적인 3D 그래픽 시스템이 의미를 처리하는 한계를突破했습니다.

• 3DGS 네이티브 실행: 3DGS에서 직접 실행 가능한 최초의 대규모 3D 실내 장면 이해 방법으로, 기존 방식의 데이터 변환 시 발생하는 정보 손실과 계산 지연을 피할 수 있습니다.

• 효율적인 일반화 능력: 개방형 어휘 및 의미 분할 테스트에서 현재 최첨단 성능을 달성했습니다.

SceneSplat 활용 분야

• AR/VR: 3D 포인트 클라우드를 실시간으로 처리하고 자연어로 질문에 답하며 정확한 위치 파악이 가능하여, AR/VR 인터랙션을 더욱 자연스럽게 만듭니다.

• 자율 주행: 자율 주행 시스템이 복잡한 3D 환경을 더 잘 이해하도록 도와 의사 결정의 정확성과 안전성을 향상시킵니다.

• 지능형 로봇: 로봇이 인간의 명령을 이해하여 더욱 정확하게 작업을 수행할 수 있도록 합니다.

• 3D 게임 개발: 자연어 명령을 통해 복잡한 3D 환경을 빠르게 생성하여 개발 효율성을 높이고 게임 세계의 동적 생성 능력을 향상시킵니다.

관련 리소스

• 논문 링크: https://arxiv.org/abs/2503.18052

• 프로젝트 홈페이지: https://unique1i.github.io/SceneSplat_webpage/

• 데이터셋: https://huggingface.co/datasets/GaussianWorld/scene_splat_7k