Goku: modelo de generación de vídeo multimodal con IA desarrollado por ByteDance 175

Goku es un modelo de generación de vídeo multimodal desarrollado conjuntamente por la Universidad de Hong Kong y ByteDance, basado en la arquitectura Rectified Flow Transformer, optimizado específicamente para la generación conjunta de imágenes y vídeo. El modelo publicó oficialmente su informe técnico en febrero de 2025, y su objetivo principal es revolucionar el flujo de trabajo de creación de contenido digital mediante capacidades de generación de bajo coste y alta eficiencia, mostrando un potencial disruptivo especialmente en campos como el marketing publicitario y la展示 del comercio electrónico.

Características y funciones de Goku:

Capacidad de generación multimodal

• Texto a vídeo (Text-to-Video): genera vídeos dinámicos directamente a partir de descripciones en lenguaje natural, admitiendo escenas complejas e interacciones entre personajes, por ejemplo, generar un anuncio corto completo con acciones de personajes y primeros planos del producto a partir de "anuncio de bebida en la playa de verano".

• Imagen a vídeo (Image-to-Video): toma una sola imagen de producto o escena como entrada y genera vídeos展示 dinámicos, por ejemplo, transformar una imagen estática de ropa en una toma coherente con el efecto de un modelo probándola.

• Texto a imagen (Text-to-Image): genera imágenes de alta resolución con control detallado, como ajustes de parámetros de iluminación, materiales, etc.

Innovación en la arquitectura técnica

• Marco de flujo rectificado: Goku adopta el Rectified Flow Transformer, combinado con un VAE conjunto de imagen-vídeo (autoencoder variacional) y un Transformer de atención completa, lo que permite al modelo procesar de forma unificada las tareas de generación de imágenes y vídeo, reduciendo los pasos iterativos de los modelos de difusión tradicionales y mejorando la eficiencia de generación mediante la optimización de la continuidad de la ruta de generación.

• Estrategia de entrenamiento por etapas: mediante el preentrenamiento de alineación semántica texto-imagen, el entrenamiento conjunto imagen-vídeo y el ajuste fino para diferentes modalidades, se mejora la capacidad del modelo por etapas, centrándose inicialmente en el aprendizaje de características básicas y reforzando posteriormente la coherencia temporal y la precisión de los detalles.

• Soporte de conjuntos de datos a gran escala: los investigadores construyeron un conjunto de datos a gran escala de aproximadamente 36 millones de vídeos y 160 millones de imágenes, y adoptaron diversas técnicas de filtrado y aumento de datos para mejorar la calidad de los mismos.

Ventajas en coste y rendimiento

• Versión comercial Goku+: como modelo base dedicado a anuncios en vídeo, su coste de generación es solo 1/100 del de la producción tradicional, y admite personalización (como inserción del logotipo de la marca, doblamiento multilingüe, etc.).

• Rendimiento SOTA: en pruebas de referencia como MSR-VTT y UCF-101, las tareas de generación de texto a vídeo establecen nuevos récords del sector, con una coherencia de vídeo y una alineación semántica superiores en más del 20 % a modelos similares.

Cómo usar Goku:

Selección e implementación del modelo

• Ofrece tres modelos de distinta escala: versión ligera (adaptada a dispositivos móviles), versión estándar (escenarios generales) y versión empresarial (admite resolución 4K y generación de vídeo largo).

• Admite llamadas a la API en la nube y despliegue local; los usuarios empresariales pueden acceder a través de la plataforma Volcano Engine de ByteDance.

Configuración de entrada y parámetros

• Formato de entrada: las indicaciones de texto deben seguir una descripción estructurada (como "sujeto-acción-escena-estilo"); la entrada de imagen admite formatos PNG/JPG y fondo transparente.

• Parámetros de control: incluyen duración del vídeo (5 segundos por defecto, ampliable a 60 segundos),帧率 (24/30/60fps), resolución (hasta 4096×2160) y filtros de estilización (como "estilo realista" "renderizado卡通").

Edición interactiva

• Admite ajuste fotograma a fotograma después de la generación, por ejemplo, modificar acciones locales,替换 elementos de fondo, o añadir efectos especiales mediante指令 de texto (como "añadir efecto de gotas de lluvia").

Aplicaciones del producto Goku:

Comercio electrónico y marketing publicitario

• 展示 dinámica de productos: solo se necesita una imagen del producto para generar anuncios en vídeo con讲解 de un presentador virtual y展示 desde múltiples ángulos, adecuado para páginas de detalles de productos en plataformas como Taobao y Douyin.

• Anuncios localizados de bajo coste: genera rápidamente contenido publicitario adaptado al idioma y al contexto cultural de diferentes mercados regionales, reduciendo significativamente los costes de marketing transnacional.

Creación de contenido para redes sociales

• Generación de vídeos de comida/tutoriales: introduce una lista de ingredientes y la descripción de los pasos para generar automáticamente vídeos del proceso de cocción, con soporte para añadir subtítulos interactivos y música de fondo.

• Herramientas auxiliares para UGC: ofrece a los creadores la función de "texto a vídeo", convirtiendo automáticamente contenido de texto e imagen en vídeos cortos, mejorando la eficiencia de producción de contenido.

Preproducción cinematográfica y de videojuegos

• Vista previa deStoryboards: genera rápidamente storyboards de la trama a partir de texto, ayudando a directores y guionistas a visualizar el ritmo narrativo.

• Construcción de bibliotecas de acciones de NPC: proporciona generación por lotes de acciones de personajes para el desarrollo de juegos, reduciendo la工作量 de modelado manual.

El lanzamiento de Goku marca la transición de la generación de vídeo con IA desde "herramienta auxiliar" hasta "aplicación de nivel productivo". Su característica de bajo coste ya ha atraído a varias marcas internacionales de bienes de consumo rápido para realizar proyectos piloto, estimándose que puede reducir el ciclo de producción publicitaria en un 80 %. En el futuro, combinando renderizado en tiempo real y tecnología de modelado 3D, se espera que Goku se expanda aún más a escenarios como la realidad virtual y el metaverso. Las limitaciones tecnológicas actuales se reflejan principalmente en el control de la lógica narrativa de vídeos largos, pero el equipo afirma que seguirá optimizándolos mediante la introducción de mecanismos de aprendizaje por refuerzo.

GitHub：https://github.com/Saiyan-World/goku

项目地址：https://saiyan-world.github.io/goku/

论文：https://arxiv.org/abs/2502.04896