LiveCC : un LLM vidéo co-développé par ByteDance et l'Université nationale de Singapour 141

小编 · 2025-04-25

LiveCC est un grand modèle de langage vidéo co-développé par ByteDance et l'Université nationale de Singapour, capable de commenter le contenu vidéo en temps réel. Il est entraîné sur des transcriptions ASR, ce qui réduit les coûts et améliore l'efficacité. Les chercheurs ont également mis au point une nouvelle méthode d'entraînement en streaming et un pipeline de production de données, créant les jeux de données Live-CC-5M et Live-WhisperX-526K. Même sans affinage supervisé de haute qualité, le modèle LiveCC-7B-Base obtient d'excellents résultats en questions-réponses vidéo et en commentaire en temps réel. Évalué sur le benchmark LiveSports-3K,

LiveCC : un LLM vidéo co-développé par ByteDance et l'Université nationale de Singapour

Qu'est-ce que LiveCC ?

LiveCC est un modèle de langage de grande taille pour la vidéo développé en collaboration par ByteDance et l'Université nationale de Singapour, capable de commenter en temps réel le contenu vidéo. Il est entraîné à partir de transcriptions issues de la reconnaissance automatique de la parole (ASR), ce qui réduit les coûts et améliore l'efficacité. Les chercheurs ont également mis au point une nouvelle méthode d'entraînement en flux continu ainsi qu'un pipeline de production de données, aboutissant à deux jeux de données : Live-CC-5M et Live-WhisperX-526K. Même sans fine-tuning supervisé de haute qualité, le modèle LiveCC-7B-Base obtient d'excellentes performances sur les tâches de question-réponse vidéo et de commentaire en temps réel. Évalué sur le benchmark LiveSports-3K, le modèle final LiveCC-7B-Instruct surpasse, en qualité de commentaire en temps réel, des modèles avancés de 72B, et atteint également des résultats de pointe sur les benchmarks de question-réponse vidéo tels que VideoMME et OVOBench.

Caractéristiques principales de LiveCC

Méthode d'entraînement du modèle

Approche d'entraînement innovante : une nouvelle méthode d'entraînement en flux vidéo-ASR est proposée, entrelaçant étroitement les mots ASR et les images vidéo selon les horodatages, conformément aux caractéristiques de flux de l'ASR, permettant au modèle d'apprendre l'alignement temporel et la modélisation vision-langage fine-grained.
Production de données et construction de jeux de données : un pipeline de production de données est introduit pour traiter les vidéos YouTube et leurs sous-titres (CC, équivalents à l'ASR), construisant le jeu de données Live-CC-5M pour le pré-entraînement et le jeu de données Live-WhisperX-526K pour le fine-tuning supervisé (SFT) de haute qualité.

模型训练方法.webp

Performances du modèle

Modèle LiveCC-7B-Base : même sans SFT, ce modèle présente des performances compétitives sur les tâches générales de question-réponse vidéo et possède la nouvelle capacité de commenter des vidéos en temps réel.
Modèle LiveCC-7B-Instruct : évalué via le benchmark soigneusement conçu LiveSports-3K (utilisant un LLM comme juge pour mesurer les commentaires en format libre), ce modèle surpasse en mode temps réel, en qualité de commentaire, des modèles 72B avancés (tels que Qwen2.5-VL-72B-Instruct, LLaVA-Video-72B). Sur les benchmarks populaires de question-réponse vidéo (comme VideoMME et OVOBench), il obtient des résultats de pointe à l'échelle 7B/8B, démontrant la grande généralisabilité de la méthode.

LiveCC应用.webp

Applications de LiveCC

LiveCC peut être largement utilisé dans des domaines tels que l'interprétation en temps réel de contenus vidéo, les commentaires en direct d'événements sportifs, et les explications interactives de vidéos éducatives.

Questions fréquentes

Q : En quoi LiveCC diffère-t-il des autres modèles de langage vidéo en matière d'acquisition de données d'entraînement ?

R :LiveCC utilise des transcriptions peu coûteuses issues de la reconnaissance automatique de la parole (ASR) pour un entraînement à grande échelle, tandis que d'autres modèles s'appuient souvent sur des annotations humaines coûteuses ou des API de modèles propriétaires (comme GPT-4o). Cette différence confère à LiveCC un avantage en termes de coût et d'échelle des données d'entraînement.

Q : À quoi servent respectivement les jeux de données Live-CC-5M et Live-WhisperX-526K ?

R :Le jeu de données Live-CC-5M est utilisé pour le pré-entraînement du modèle, l'aidant à apprendre des caractéristiques et connaissances générales vision-langage ; le jeu de données Live-WhisperX-526K est utilisé pour le fine-tuning supervisé (SFT) de haute qualité, permettant au modèle de mieux performer sur des tâches spécifiques et d'améliorer ses performances.

Q : Quelle est la signification du fait que le modèle LiveCC-7B-Instruct surpasse les modèles 72B en matière de commentaire en temps réel ?

R :Cela démontre l'efficacité de la méthode d'entraînement et de l'architecture de LiveCC, capable d'offrir une fonctionnalité de commentaire en temps réel plus efficace avec un nombre de paramètres réduit, fournissant ainsi une solution plus rentable pour la diffusion de modèles de langage vidéo dans des scénarios d'application en temps réel (comme le commentaire en direct d'événements sportifs).