HunyuanVideo-I2V: el framework de imagen a vídeo de código abierto de Tencent Hunyuan 189

¿Qué es HunyuanVideo-I2V?

HunyuanVideo-I2V es un nuevo marco de imagen a vídeo de código abierto lanzado por el equipo Hunyuan de Tencent el 6 de marzo de 2025. Basado en el anterior HunyuanVideo de código abierto, amplía aún más las capacidades de generación de imagen a vídeo, permitiendo a los creadores de vídeo generar vídeos cortos de alta calidad a partir de una sola imagen y admite el entrenamiento de efectos personalizados.

Características de HunyuanVideo-I2V

• Imagen a vídeo: HunyuanVideo-I2V puede utilizar una imagen estática como primer fotograma del vídeo y generar contenido de vídeo que coincida según los subtítulos o descripciones proporcionados por el usuario.

• Modelo de lenguaje de gran tamaño multimodal (MLLM): el modelo emplea un modelo de lenguaje de gran tamaño multimodal preentrenado como codificador de texto, lo que mejora significativamente la comprensión del contenido semántico de la imagen de entrada.

• Autocodificador variacional 3D (3D VAE): un 3D VAE entrenado con la tecnología CausalConv3D, que comprime vídeos e imágenes del espacio de píxeles en un espacio latente compacto, reduciendo la cantidad de tokens en los modelos posteriores.

• Diseño de modelo híbrido de doble flujo a flujo único: en la etapa de doble flujo, los tokens de vídeo y texto se procesan de forma independiente mediante múltiples bloques Transformer; en la etapa de flujo único, los tokens de vídeo y texto se concatenan para llevar a cabo la fusión de información multimodal.

• Estrategia de entrenamiento progresivo: transición gradual desde baja resolución y vídeos cortos hasta alta resolución y vídeos largos, mejorando la velocidad de convergencia del modelo.

• Modelo de reescritura de prompts: resuelve el problema de la variabilidad en el estilo y la longitud del lenguaje de los prompts del usuario, transformando los prompts introducidos por el usuario a un formato más comprensible para el modelo.

• Entrenamiento LoRA personalizable: admite el entrenamiento, con una pequeña cantidad de datos, de modelos de generación de vídeo con efectos específicos, como “crecimiento de cabello” o “movimiento de personajes”, entre otros.

• Inferencia eficiente: ofrece inferencia con una sola GPU e inferencia paralela en secuencia con varias GPU, lo que permite una velocidad de inferencia más rápida.

Arquitectura técnica de HunyuanVideo-I2V

En su arquitectura general, HunyuanVideo-I2V mantiene el enfoque de diseño de HunyuanVideo y, sobre esta base, se ha optimizado para la tarea de generación de imagen a vídeo. Su núcleo reside en el uso de la tecnología de concatenación en el espacio latente de la imagen, que inyecta la información clave de la imagen de referencia en el flujo de generación de vídeo, al mismo tiempo que logra una fusión profunda entre modalidades de la información de texto e imagen mediante el MLLM.

Cómo usar HunyuanVideo-I2V

1. Instalación y dependencias

• Instale PyTorch y otras dependencias; la guía de instalación específica se encuentra disponible en la página de GitHub.

• Se recomienda utilizar una GPU NVIDIA con al menos 80 GB de memoria de vídeo.

2. Descarga de los modelos preentrenados

• Los pesos de los modelos preentrenados se pueden descargar desde la página de GitHub o desde la página de Hugging Face.

3. Código de inferencia

• Utilice el código de inferencia proporcionado (como sample_video.py) para generar el vídeo.

4. Entrenamiento LoRA

• Se proporciona código de entrenamiento LoRA, con el que los usuarios pueden entrenar, con una pequeña cantidad de datos, modelos de generación de vídeo con efectos específicos.

Aplicaciones de HunyuanVideo-I2V

• Creación de contenido de vídeo: proporciona a los creadores de vídeo herramientas eficientes y de alta calidad para la generación de vídeo.

• Producción audiovisual: genera contenido de vídeo de calidad cinematográfica.

• Vídeos personalizados: genera vídeos personalizados a partir de las imágenes y descripciones subidas por el usuario.

Sitio web oficial: https://video.hunyuan.tencent.com/

GitHub: https://github.com/Tencent/HunyuanVideo-I2V

Hugging Face: https://huggingface.co/tencent/HunyuanVideo-I2V