SegAnyMo : identifier et segmenter précisément les objets en mouvement dans les vidéos 141

Qu'est-ce que SegAnyMo ?

SegAnyMo (Segment Any Motion in Videos) est un outil intelligent de « découpage vidéo ». Il peut identifier et segmenter avec précision les objets en mouvement dans une vidéo sans nécessiter d'annotation manuelle. Il est capable de segmenter plusieurs objets en mouvement dans des scènes caractérisées par des mouvements rapides, un flou d'image ou des arrière-plans complexes.

Contexte de la recherche

La segmentation des objets en mouvement est une tâche essentielle pour permettre une compréhension de haut niveau des scènes visuelles, avec de nombreuses applications en aval. La plupart des recherches précédentes s'appuient sur le flux optique pour fournir des indices de mouvement, mais cette approche conduit souvent à des prédictions inexactes face à des défis tels que les mouvements partiels, les déformations complexes, le flou de mouvement et les interférences d'arrière-plan.

Présentation de la méthode

Cette étude propose une nouvelle méthode de segmentation d'objets en mouvement, qui combine des indices de mouvement issus de trajectoires longue distance avec des caractéristiques sémantiques basées sur DINO, et exploite SAM2 pour densifier les masques au niveau des pixels grâce à une stratégie de prompts itératifs. Le processus détaillé est le suivant :

1. Traitement de l'entrée : en prenant comme entrées des trajectoires 2D et des cartes de profondeur générées par des modèles existants, un encodeur de mouvement capture les schémas de mouvement et génère des trajectoires de caractéristiques.

2. Décodage des trajectoires : un décodeur de trajectoires intégrant des caractéristiques DINO décode les trajectoires de caractéristiques et, en dissociant les informations de mouvement et sémantiques, obtient finalement des trajectoires dynamiques.

3. Génération du masque : SAM2 est utilisé pour regrouper les trajectoires dynamiques appartenant au même objet et générer des masques précis des objets en mouvement.

Fonctionnalités de SegAnyMo

• Détection et segmentation des objets en mouvement : détection automatique des objets en mouvement dans une vidéo et génération des masques de segmentation correspondants, identifiant précisément le contour et la position des objets en mouvement.

• Gestion des scènes complexes : capable de faire face à des scènes complexes comportant des mouvements partiels, des déformations complexes, du flou de mouvement et des interférences d'arrière-plan, tout en segmentant précisément les objets cibles.

• Segmentation multi-objets : permet de détecter et de segmenter simultanément plusieurs objets en mouvement dans une vidéo, en générant un masque de segmentation indépendant pour chaque objet, ce qui facilite leur traitement et leur analyse individuels.

• Capacité de généralisation : dotée d'une forte capacité de généralisation, elle s'adapte à différents jeux de données et scénarios vidéo, et maintient une précision de segmentation élevée même dans des scènes inédites.

• Intégration d'informations sémantiques : en combinant des informations sémantiques, elle segmente plus précisément les objets en mouvement, évitant ainsi de classer par erreur des objets immobiles comme étant en mouvement.

• Temps réel et efficacité : dans une certaine mesure, elle répond aux exigences de traitement en temps réel et peut être appliquée à des scénarios exigeant une grande réactivité.

• Prise en charge de plusieurs types d'entrée : prend en charge divers types de données d'entrée tels que les trajectoires 2D et les cartes de profondeur, et permet d'ajuster la stratégie de segmentation en fonction des différentes conditions d'entrée.

• Extensibilité : la conception de l'architecture offre une bonne extensibilité, permettant d'améliorer les performances ou de s'adapter à de nouvelles tâches en ajoutant ou en modifiant des modules.

Avantages techniques

• Mécanisme d'attention sur les trajectoires spatio-temporelles : grâce à ce mécanisme, le modèle peut mieux se concentrer sur les informations de mouvement tout en bénéficiant d'un soutien sémantique, ce qui lui permet de segmenter avec précision les objets en mouvement même dans des scènes complexes.

• Plongement par découplage mouvement-sémantique : évite les erreurs de jugement causées par une dépendance excessive du modèle à l'égard des informations sémantiques, par exemple en classant incorrectement une chaussée immobile comme un objet dynamique.

• Forte capacité de généralisation : des tests approfondis sur plusieurs jeux de données montrent que le modèle est performant dans des scénarios difficiles et pour la segmentation fine de plusieurs cibles.

Scénarios d'application

• Vidéosurveillance : détection en temps réel des objets en mouvement tels que les piétons et les véhicules, réduction des fausses alertes et amélioration de la précision de la surveillance de sécurité.

• Conduite autonome : identification des obstacles dynamiques sur la route pour faciliter la prise de décision en conduite autonome.

• Analyse de vidéos sportives : segmentation des mouvements des athlètes, prise en charge de l'analyse de mouvements complexes et de scènes multi-personnes.

• Sécurité intelligente : évite les fausses alertes liées aux objets immobiles et améliore la fiabilité du système.

• Montage vidéo : traitement différencié des différents objets en mouvement, ce qui facilite l'ajout d'effets spéciaux et le remplacement d'objets.

• Surveillance du trafic : analyse du mouvement de plusieurs véhicules, prise en charge de la gestion du flux de circulation.

• Vision robotique : segmentation des objets en mouvement à l'aide de cartes de profondeur, pour faciliter la navigation et l'évitement d'obstacles par les robots.

• Visioconférence multi-personnes : segmentation des images des intervenants, améliorant l'expérience d'interaction.

• Recherche et développement : code source ouvert facilitant la reproduction et le développement secondaire, prenant en charge l'entraînement et les tests sur de nouveaux jeux de données.

Page du projet :https://motion-seg.github.io/

Adresse Github :https://github.com/nnanhuang/SegAnyMo