VideoWorld: Tareas complejas solo con visión, sin depender de modelos de lenguaje 202

El 10 de febrero de 2025, el modelo de generación de vídeo "VideoWorld", desarrollado conjuntamente por el equipo del modelo grande Doubao con la Universidad de Beijing Jiaotong y la Universidad de Ciencia y Tecnología de China, fue oficialmente publicado como código abierto. La innovación central del modelo VideoWorld reside en que no depende en absoluto de modelos de lenguaje, siendo capaz de aprender y generar tareas complejas únicamente a través de información visual.

I. Características funcionales principales

1. Aprendizaje puramente visual del conocimiento

• Domina de forma autónoma reglas y estrategias complejas (como la lógica de colocación de fichas en Go y la secuenciación temporal de operaciones de robots) mediante datos de vídeo sin etiquetar, sin necesidad de instrucciones lingüísticas ni de mecanismos de recompensa del aprendizaje por refuerzo

• Admite razonamiento multipaso y capacidad de planificación a largo plazo, por ejemplo, predecir de 5 a 9 movimientos posteriores del oponente en una partida de Go

2. Compresión eficiente de representaciones visuales

• Introduce el Modelo Dinámico Latente (LDM) para codificar los cambios entre fotogramas de vídeo en una secuencia latente compacta, reduciendo la interferencia de información redundante

• Permite el modelado conjunto de dependencias dinámicas a corto y largo plazo: a corto plazo se enfoca en desplazamientos finos (como el ajuste micrométrico de un brazo robótico) y a largo plazo captura patrones a nivel de tarea (como combinaciones tácticas en Go)

3. Capacidad de generalización entre escenarios

En los conjuntos de pruebas de robots CALVIN y RLBench se acerca al rendimiento del modelo Oracle, adaptándose a distintos parámetros ambientales (como iluminación y posición de los objetos)

En partidas de Go alcanza el nivel de quinto dan profesional (referencia Video-GoBench), superando a los agentes tradicionales de aprendizaje por refuerzo.

II. Arquitectura técnica de VideoWorld:

Arquitectura básica

• Basada en VQ-VAE para discretizar fotogramas de vídeo en secuencias de tokens, utilizando un Transformer autorregresivo para predicción a nivel de fotograma

• Los datos de entrenamiento solo contienen vídeos del proceso de ejecución de tareas (como evolución de partidas de Go y registros de operación de brazos robóticos)

Modelo Dinámico Latente (LDM)

• Mecanismo de codificación: comprime los cambios visuales de los próximos H fotogramas en códigos latentes continuos, que tras ser cuantificados se utilizan como objetivo de predicción

• Predicción de doble flujo: optimiza conjuntamente la generación de fotogramas de vídeo y la predicción de códigos latentes, reforzando el modelado de nodos de decisión clave

• Análisis interpretable: la visualización mediante UMAP muestra que el agrupamiento en el espacio latente está fuertemente correlacionado con la dinámica de la tarea.

Diseño de optimización de eficiencia

• El número de parámetros del modelo se mantiene en el orden de 300 millones, reduciendo un 80 % el coste computacional en comparación con los modelos de vídeo tradicionales

• Escala de datos de entrenamiento: Video-GoBench contiene cientos de miles de fotogramas de partidas de Go

III. Escenarios de aplicación de VideoWorld

• Creación de contenidos: ofrece un fuerte apoyo para la producción de vídeos cortos, la concepción de escenas cinematográficas y la generación de contenido visual en videojuegos.

• Educación: ayuda a los estudiantes a comprender de forma más vívida conceptos complejos mediante la generación de vídeos dinámicos.

• Publicidad: genera vídeos publicitarios personalizados según las preferencias del usuario, mejorando la eficacia del marketing.

IV. Descarga e instalación de VideoWorld:

1. Clonar el repositorio:

git clone https://github.com/bytedance/VideoWorld.git
cd VideoWorld

2. Instalar dependencias:

pip install -r requirements.txt

3. Ejecutar ejemplos:El código de ejemplo se encuentra generalmente en los directorios examples o scripts. Ajuste los archivos de configuración según sea necesario y ejecute el script correspondiente.

V. Página del proyecto VideoWorld:

Página principal del proyecto: https://maverickren.github.io/VideoWorld.github.io

Dirección de GitHub: https://github.com/bytedance/VideoWorld

Enlace al artículo: https://arxiv.org/abs/2501.09781