SegAnyMo：動画内の移動物体を自動認識し高精度にセグメンテーション 138

小编 · 2025-03-31

SegAnyMo（Segment Any Motion in Videos）は、動画内の移動物体を自動認識し高精度にセグメンテーションするスマートな動画マットツールです。手動アノテーション不要で、物体の高速移動やぼやけた画面、複雑な背景のシーンでも複数の移動物体をセグメンテーションできます。

SegAnyMo：動画内の移動物体を自動認識し高精度にセグメンテーション

SegAnyMoとは？

SegAnyMo（Segment Any Motion in Videos）は、スマートな「動画抠図（映像切り抜き）」ツールです。映像内の動く物体を自動的に識別し、高精度にセグメンテーションすることができます。手動でのアノテーションなしに、映像内の複数の移動物体をセグメンテーション可能で、物体の動きが速すぎる、画像のぼけ、背景が複雑といったシーンにも対応できます。

SegAnyMo是什么？.jpg

研究の背景

移動物体のセグメンテーションは、視覚シーンの高レベル理解を実現するための重要なタスクであり、数多くの下流応用があります。これまでの研究では、運動の手がかりを提供するためにオプティカルフローに依存することが多くありましたが、この手法は、部分的な動き、複雑な変形、モーションブラー、背景の干渉といった課題に直面した際に、予測結果が不正確になることがよくあります。

手法の紹介

本研究では、長距離軌跡の動きの手がかりとDINOベースの意味的特徴を組み合わせ、反復的なプロンプト戦略によってSAM2を用いてピクセルレベルのマスクを密化する、新しい移動物体セグメンテーション手法を提案しています。具体的な流れは以下の通りです。

入力処理：既存のモデルで生成された2D軌跡と深度マップを入力とし、動きエンコーダーで動きのパターンを捉えて特徴軌跡を生成します。
軌跡デコード：DINO特徴を統合した軌跡デコーダーを使用して特徴軌跡をデコードし、動き情報と意味情報を分離することで、最終的に動的軌跡を得ます。
マスク生成：SAM2を利用して、同じ物体に属する動的軌跡をグループ化し、精細な移動物体のマスクを生成します。

SegAnyMoの機能

移動物体の検出とセグメンテーション：映像から移動する物体を自動的に検出し、対応するセグメンテーションマスクを生成することで、移動物体の輪郭と位置を正確に特定します。
複雑なシーンへの対応：部分的な動き、複雑な変形、モーションブラー、背景の干渉といった複雑なシーンにも対応でき、対象物体を高精度にセグメンテーションします。
複数物体のセグメンテーション：映像内の複数の移動物体を同時に検出・セグメンテーションでき、各物体に対して独立したセグメンテーションマスクを生成するため、個別の処理や解析が容易です。
汎化能力：高い汎化能力を備えており、さまざまな映像データセットやシーンに適応できます。未知のシーンでも高いセグメンテーション精度を維持します。
意味情報の統合：意味情報を統合することで、移動物体をより正確にセグメンテーションし、静止物体を誤って移動物体として識別することを防ぎます。
リアルタイム性と効率：一定程度上リアルタイム処理の要件を満たし、リアルタイム性が求められるシーンにも適用可能です。
多様な入力のサポート：2D軌跡、深度マップなど多様な入力データをサポートしており、異なる入力条件に応じてセグメンテーション戦略を柔軟に調整できます。
拡張性：アーキテクチャ設計は優れた拡張性を備えており、モジュールの追加や調整によって性能を向上させたり、新しいタスクの要件に適応したりすることができます。

SegAnyMo：映像内の動く物体を自動的に識別し、高精度にセグメンテーションする.webp

技術的な優位性

時空間軌跡アテンション機構：この機構により、モデルは動き情報によりよく注目できると同時に、意味的なサポートも組み合わせることができるため、複雑なシーンでも移動物体を正確にセグメンテーションできます。
動きと意味の分離埋め込み：モデルが意味情報に過度に依存することで生じる誤った判断（たとえば、静止している路面を動的物体として誤分類するなど）を回避します。
強力な汎化能力：複数のデータセットでの広範なテストにより、本モデルが難易度の高いシーンや複数物体の細粒度セグメンテーションにおいて優れた性能を示すことが確認されています。