Assistant scénario▸ 
Apps AI 
Actualités AI Video-R1 : le premier modèle R1 vidéo au monde, lancé conjointement par CUHK et l'Université Tsinghua
小编 ·
Video-R1 : le premier modèle R1 vidéo au monde, lancé conjointement par CUHK et l'Université Tsinghua
Qu'est-ce que Video-R1 ?
Video-R1 est le tout premier modèle R1 dédié à la vidéo, développé conjointement par l'Université chinoise de Hong Kong et l'Université Tsinghua. Il améliore la capacité de raisonnement vidéo des grands modèles de langage multimodaux (MLLM) grâce à l'apprentissage par renforcement.
Fonctionnalités de Video-R1
Raisonnement sensible au temps : Video-R1 introduit l'algorithme T-GRPO, qui encourage le modèle à exploiter les informations temporelles pour raisonner en comparant des images vidéo dans un ordre aléatoire et dans un ordre chronologique, permettant ainsi une meilleure compréhension des relations temporelles dans la vidéo.
Entraînement sur données mixtes : Pour résoudre le problème de la rareté des données de raisonnement vidéo de haute qualité, Video-R1 utilise un jeu de données mixte d'images et de vidéos pour l'entraînement, comprenant Video-R1-COT-165k (pour le démarrage à froid SFT) et Video-R1-260k (pour l'entraînement RL), ce qui permet au modèle de transférer ses capacités de raisonnement des images statiques au raisonnement vidéo dynamique.
Plusieurs types de sortie : Video-R1 prend en charge plusieurs types de réponses en sortie, notamment les choix multiples, les valeurs numériques, l'OCR, le format libre et la régression.
Comportement de raisonnement auto-réflexif : Le modèle effectue une auto-réflexion pendant le processus de raisonnement, ajustant la direction de son raisonnement pour aboutir à des conclusions plus précises. Ce « moment eurêka » indique que le modèle mène activement une boucle de rétroaction interne.
Technologie de Video-R1
Algorithme sensible au temps T-GRPO : Cet algorithme renforce la capacité du modèle à comprendre les séries temporelles, lui permettant de réfléchir en profondeur aux relations de causalité entre les événements. Par rapport à l'algorithme GRPO traditionnel, T-GRPO lie la compréhension temporelle via un mécanisme de récompense, de sorte que le modèle n'est récompensé que lorsqu'il obtient un taux de réponses correctes plus élevé sur des entrées ordonnées.
Jeu de données mixte images-vidéos : Les chercheurs ont créé deux jeux de données de haute qualité : Video-R1-COT-165k (principalement axé sur les images) et Video-R1-260k (centré sur des vidéos de haute qualité), résolvant ainsi le problème de la rareté des données de raisonnement vidéo. Cette approche d'entraînement mixte permet au modèle d'évoluer du simple « décrire une image » vers une véritable « réflexion approfondie sur la vidéo », réalisant ainsi une compréhension multimodale authentique.
Stratégie d'entraînement par apprentissage par renforcement : Grâce à l'entraînement par apprentissage par renforcement, Video-R1 abandonne progressivement les schémas de raisonnement sous-optimaux pendant l'entraînement, formant des chemins d'expression plus efficaces et plus logiques.
Applications de Video-R1
Analyse de contenu vidéo : Video-R1 peut analyser et comprendre efficacement le contenu dynamique des vidéos, et peut être utilisé pour générer automatiquement des extraits vidéo clés, la reconnaissance des comportements, la génération intelligente d'étiquettes, etc.
Recherche et recommandation vidéo : Grâce à un raisonnement approfondi, Video-R1 peut comprendre plus précisément les besoins des utilisateurs et fournir des recommandations de contenu vidéo mieux adaptées à leurs centres d'intérêt.
Compréhension visuelle pour la conduite autonome : Le modèle est capable de comprendre les relations temporelles et la logique causale dans les vidéos, aidant ainsi les systèmes de conduite autonome à mieux percevoir et prédire l'environnement routier.
Vidéosurveillance et sécurité : Video-R1 peut être utilisé pour l'analyse en temps réel des vidéos de surveillance, permettant d'identifier rapidement les comportements ou événements anormaux et d'améliorer la sécurité publique.
Éducation et formation : Dans le domaine de l'éducation, Video-R1 peut être intégré dans des systèmes de tutorat intelligent. En analysant le contenu des vidéos pédagogiques, il fournit aux étudiants des suggestions d'apprentissage personnalisées.
Maison intelligente : Le modèle peut être intégré dans des systèmes domotiques pour permettre une perception environnementale et un contrôle automatisé plus intelligents grâce à l'analyse vidéo.
Adresse GitHub :https://github.com/tulerfeng/Video-R1
Article :https://arxiv.org/abs/2503.21776
