VideoWorld : des tâches complexes uniquement par la vision, sans modèles de langage 197

Le 10 février 2025, le modèle de génération vidéo « VideoWorld » a été développé conjointement par l'équipe du grand modèle Doubao, l'Université de Jiaotong de Pékin et l'Université des Sciences et Technologies de Chine, puis officiellement open-sourcé. L'innovation principale du modèle VideoWorld réside dans le fait qu'il ne dépend pas du tout d'un modèle linguistique et qu'il peut apprendre et générer des tâches complexes uniquement à partir d'informations visuelles.

I. Caractéristiques fonctionnelles principales

1. Apprentissage par la connaissance purement visuelle

• Maîtrise autonome de règles et de stratégies complexes (telles que la logique de placement des pierres au Go, la chronologie des opérations des robots) à partir de données vidéo non annotées, sans avoir besoin d'instructions linguistiques ni de mécanisme de récompense par apprentissage par renforcement

• Prise en charge du raisonnement multi-étapes et de la planification à long terme, par exemple la prédiction des 5 à 9 prochains coups de l'adversaire dans une partie de Go

2. Compression efficace des représentations visuelles

• Introduction d'un modèle dynamique latent (LDM) qui encode les changements entre les images vidéo en une séquence latente compacte, réduisant ainsi les interférences des informations redondantes

• Modélisation conjointe des dépendances dynamiques à court et long terme : attention à court terme aux déplacements fins (tels que l'ajustement précis d'un bras robotisé), et capture à long terme des patterns au niveau de la tâche (tels que les combinaisons tactiques au Go)

3. Capacités de généralisation inter-scènes

Sur les ensembles de tests robotiques CALVIN et RLBench, ses performances sont proches de celles du modèle Oracle, et il peut s'adapter à différents paramètres environnementaux (tels que l'éclairage, la position des objets)

Atteint un niveau de joueur professionnel 5e dan au Go (référence Video-GoBench), surpassant les agents traditionnels d'apprentissage par renforcement.

II. Architecture technique de VideoWorld :

Architecture de base

• Discrétisation des images vidéo en séquences de tokens basée sur VQ-VAE, et prédiction au niveau des images grâce à un Transformer autorégressif

• Les données d'entraînement contiennent uniquement des vidéos du processus d'exécution des tâches (telles que l'évolution d'une partie de Go, les enregistrements d'opérations d'un bras robotisé)

Modèle dynamique latent (LDM)

• Mécanisme d'encodage : compression des changements visuels des H prochaines images en codes latents continus, quantifiés puis utilisés comme cibles de prédiction

• Prédiction à deux flux : optimisation conjointe de la génération d'images vidéo et de la prédiction des codes latents, renforçant la modélisation des nœuds décisionnels clés

• Analyse explicable : la visualisation via UMAP montre que le regroupement dans l'espace latent est fortement corrélé à la dynamique de la tâche.

Conception d'optimisation de l'efficacité

• Nombre de paramètres du modèle maintenu à environ 300 millions, réduisant de 80 % les coûts de calcul par rapport aux modèles vidéo traditionnels

• Échelle des données d'entraînement : Video-GoBench contient des centaines de milliers d'images vidéo de parties de Go

III. Scénarios d'application de VideoWorld

• Création de contenu : apporte un soutien puissant à la production de courtes vidéos, à la conception de scènes de films, à la génération de contenu visuel dans les jeux, etc.

• Éducation : aide les étudiants à comprendre des connaissances complexes de manière plus vivante grâce à la génération de vidéos dynamiques.

• Publicité : génère des vidéos publicitaires personnalisées en fonction des préférences des utilisateurs, améliorant ainsi l'efficacité du marketing.

IV. Téléchargement et installation de VideoWorld :

1. Cloner le dépôt :

git clone https://github.com/bytedance/VideoWorld.git
cd VideoWorld

2. Installer les dépendances :

pip install -r requirements.txt

3. Exécuter les exemples :Le code d'exemple se trouve généralement dans le répertoire examples ou scripts. Ajustez le fichier de configuration selon vos besoins et exécutez le script correspondant.

V. Pages du projet VideoWorld :

Page principale du projet : https://maverickren.github.io/VideoWorld.github.io

Adresse GitHub : https://github.com/bytedance/VideoWorld

Lien vers l'article : https://arxiv.org/abs/2501.09781