SceneSplat：スタンフォード大学とGoogleが共同開発したオープンソースの3Dシーン理解ツール 71

SceneSplatはスタンフォード大学とGoogleが共同で開発したオープンソースの3Dシーン理解ツールで、主に3Dガウシアンモデルに人間の言語指示を理解させ、テキストから3Dシーンへの変換を実現します。

SceneSplatの技術原理

• エンドツーエンドの視覚言語事前学習アーキテクチャ：言語記述と対応する3Dシーンを同時に学習することで、モデルが自然言語指示を理解し、3Dシーンに変換できるようにします。例えば「本棚を窓際の壁際に置いて」と入力すると、モデルがキー情報を自動的に認識し、3次元空間に正確に配置します。

• モダリティ間の特徴アラインメント：3Dガウシアン表現と視覚言語モデルを組み合わせ、マルチスケール特徴抽出とモダリティ間のアテンション機構により、複雑な言語指示の理解能力を向上させます。

• 自己教師あり学習手法：ラベルのないシーンからより多くの3D特徴を学習できます。

SceneSplatデータセット

• SceneSplat - 7K：屋内シーンを対象とした初の 대규모 3DGS データセットで、ScanNet や Matterport3D など7つの既存データセットから 7916 のシーンを含んでいます。このデータセットの生成には、L4 GPU 上で約 150 日間の計算が必要です。

• SceneSplat - 49K：屋内外のさまざまなシーンを含む、現在最も包括的なオープンソースデータセットであり、複雑で高品質な完全なシーンレベルの 3DGS 再構築コンテンツを備え、汎用化可能な 3DGS シーン理解の発展を推進します。

SceneSplatの優位性と特徴

• セマンティック理解の統合：3D ガウシアンモデルにおいて初めてセマンティック理解アプリケーションを実現し、従来の 3D グラフィックスシステムがセマンティクスを処理する際の限界を突破しました。

• 3DGS ネイティブ動作：3DGS 上で直接実行できる初の 大規模な 3D 屋内シーン理解手法であり、従来手法におけるデータ変換時の情報損失や計算遅延を回避します。

• 高い汎化能力：オープンボキャブラリーおよびセマンティックセグメンテーションテストにおいて、現在の最先端の性能を達成しています。

SceneSplatの応用シナリオ

• AR/VR：3D ポイントクラウドをリアルタイムで処理し、自然言語での質問応答と正確な位置特定を実現し、AR/VR インタラクションをより自然なものにします。

• 自動運転：自動運転システムが複雑な 3D 環境をより良く理解するのを支援し、意思決定の正確性と安全性を向上させます。

• スマートロボット：ロボットが人間の指示を理解し、タスクをより正確に実行できるようにします。

• 3D ゲーム開発：自然言語指示を通じて複雑な 3D 環境を迅速に生成し、開発効率とゲームワールドの動的生成能力を向上させます。

関連リソース

• 論文リンク：https://arxiv.org/abs/2503.18052

• プロジェクトページ：https://unique1i.github.io/SceneSplat_webpage/

• データセット：https://huggingface.co/datasets/GaussianWorld/scene_splat_7k