HunyuanCustom: una nueva herramienta multimodal de generación de vídeo personalizada y de código abierto de Tencent Hunyuan 61

¿Qué es HunyuanCustom?

HunyuanCustom es un marco de generación de vídeo personalizado basado en conducción multimodal, lanzado y de código abierto por Tencent Hunyuan, capaz de generar vídeos con temas específicos y compatible con múltiples condiciones de entrada como texto, imagen, audio y vídeo.

Arquitectura del modelo HunyuanCustom

• Basado en HunyuanVideo: HunyuanCustom está construido sobre la base de HunyuanVideo, enfocándose en generar vídeos coherentes con un tema específico.

• Fusión multimodal: introduce un módulo de fusión texto-imagen basado en LLaVA que mejora la comprensión de entradas multimodales. Además, se han diseñado mecanismos específicos de inyección de condiciones para audio y vídeo, con el fin de lograr la generación de vídeo bajo condiciones multimodales.

Funciones principales de HunyuanCustom

• Generación de vídeo a partir de entradas multimodales: integra la capacidad de generar vídeos a partir de múltiples entradas multimodales como texto, imagen, audio y vídeo, con un alto nivel de control y calidad de generación.

• Generación de vídeo con un solo sujeto: el usuario solo tiene que subir una imagen que contenga a la persona u objeto deseado y proporcionar una descripción textual para que el sistema identifique la información de identidad de la imagen y genere contenido de vídeo coherente y natural con acciones, vestimenta y escenarios completamente diferentes. Por ejemplo, subiendo una foto de una persona e introduciendo "está paseando al perro", se genera el vídeo correspondiente.

• Generación de vídeo con múltiples sujetos: el usuario puede proporcionar una foto de una persona y otra de un objeto, e introducir una descripción textual para que ambos sujetos aparezcan en el vídeo según lo requerido. Por ejemplo, proporcionando una foto de una persona y una de una bolsa de patatas fritas e introduciendo "un hombre junto a una piscina sosteniendo una bolsa de patatas fritas para mostrarlas", se genera el vídeo correspondiente.

• Doblaje de vídeo con un solo sujeto: en el modo de conducción por audio (un solo sujeto), el usuario puede subir una imagen de la persona junto con audio de voz, y el modelo generará efectos de la persona hablando, cantando o realizando otras interpretaciones sincronizadas de audio y vídeo en cualquier escenario, lo que resulta ampliamente aplicable a escenarios como transmisiones en directo con humanos digitales, atención al cliente virtual y presentaciones educativas.

• Edición局部 de vídeo: en el modo de conducción por vídeo, permite reemplazar o insertar de forma natural a la persona u objeto de la imagen en cualquier fragmento de vídeo, realizando inserciones creativas o ampliaciones de escenarios, logrando fácilmente la reconstrucción y mejora del contenido del vídeo.

Ventajas técnicas de HunyuanCustom

• Alta consistencia de identidad: gracias a su capacidad líder en el sector de modelado de consistencia de sujetos, mantiene la coherencia y continuidad de las características de identidad a lo largo de todo el vídeo en diversas situaciones como una sola persona, objetos no humanos e interacciones entre múltiples sujetos; la persona no "cambia de cara" y los objetos no "derivan".

• Alta controlabilidad: posee una gran capacidad de seguimiento de señales de control, incluyendo el seguimiento de señales de control provenientes de múltiples modalidades como texto, imágenes de sujeto de referencia y voz, lo que permite generar de forma adecuada los objetos, escenarios y acciones que el usuario necesita.

• Alta calidad de generación de vídeo: gracias a la potente capacidad del modelo de vídeo grande de Tencent Hunyuan, alcanza niveles líderes en el sector en aspectos como la restauración de detalles de personajes, la fluidez de las acciones y el realismo de la iluminación.

Escenarios de aplicación de HunyuanCustom

• Escenarios publicitarios: permite cambiar rápidamente el fondo de los productos y que los modelos se cambien de ropa con rapidez.

• Escenarios de comercio electrónico y atención al cliente: permite producir de forma rápida y económica vídeos dinámicos de presentación de productos con humanos digitales, o crear vídeos de atención al cliente con humanos digitales vestidos de manera específica.

• Escenarios audiovisuales: producción rápida de cortometrajes y vídeos cortos de pequeñas historias.

• Escenarios de educación y divulgación científica: generación de vídeos explicativos mediante conducción por audio.

La capacidad de generación con un solo sujeto de HunyuanCustom ya es de código abierto y está disponible en el sitio web oficial de Hunyuan. Los usuarios pueden experimentarla en "Plaza de modelos - Vídeo a partir de imagen - Vídeo de referencia". Las demás capacidades se han ido abriendo al público de forma sucesiva a lo largo de mayo. Puedes acceder a la información relacionada a través de los siguientes enlaces:

• Acceso de prueba: https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• Sitio web oficial del proyecto: https://hunyuancustom.github.io/

• Código: https://github.com/Tencent/HunyuanCustom

• Informe técnico: https://arxiv.org/pdf/2505.04512