HunyuanVideo-Avatar: modelo de humanoide digital impulsado por audio de Tencent Hunyuan 66

¿Qué es HunyuanVideo-Avatar?

HunyuanVideo - Avatar es un modelo de humano digital impulsado por audio, de código abierto, desarrollado por Tencent Hunyuan basándose en su modelo de video a gran escala (HunyuanVideo). Impulsado por audio, la tecnología HunyuanVideo-Avatar puede generar videos dinámicos de personajes, mostrando el habla, los gestos corporales, los movimientos de cabeza y las expresiones faciales, y admite escenas interactivas con varios personajes. Su objetivo es resolver tres难点 en el campo de la animación de personajes impulsada por audio: generar videos altamente dinámicos manteniendo la coherencia del personaje, lograr una alineación emocional precisa entre el personaje y el audio, y admitir la animación impulsada por audio con múltiples personajes.

Características de HunyuanVideo - Avatar

• Soporte多景别: admite planos de cabeza y hombros, medio cuerpo y cuerpo completo, lo que permite a los usuarios elegir el ángulo de toma adecuado según sus necesidades.

• Estilos múltiples y escenas de múltiples especies: admite varios estilos (como cyberpunk, anime 2D, pintura a la tinta china, etc.), múltiples especies (incluidos robots, animales, etc.) y escenas con dos personas.

• Generación de video con alta coherencia y alta dinámica: puede comprender automáticamente el contenido de las imágenes y el audio de entrada, como el entorno del personaje y la emoción contenida en el audio, lo que permite que el personaje de la imagen hable o cante de forma natural, generando videos con expresiones naturales, sincronización de labios y movimientos de todo el cuerpo, garantizando la coherencia del sujeto en el video y la dinámica general del video.

• Amplia variedad de escenarios de aplicación: es adecuado para la creación de videos cortos, comercio electrónico, publicidad y otros escenarios de aplicación. Puede generar fragmentos de habla, diálogo y actuación de personajes en diferentes escenas, producir rápidamente videos de presentación de productos o anuncios interactivos entre varias personas, reduciendo eficazmente los costos de producción.

• Control preciso de múltiples personajes: en escenas interactivas con varias personas, puede controlar con precisión múltiples personajes, asegurando que la sincronización de labios, las expresiones y los movimientos estén sincronizados con el audio, con interacciones naturales.

Innovación tecnológica de HunyuanVideo - Avatar

• Módulo de inyección de imagen del personaje: basado en la arquitectura Transformer de difusión multimodal (MM - DiT), garantiza la coherencia del personaje y la dinámica del video, resolviendo el problema de generar videos que mantengan una alta coherencia de la apariencia del personaje y, al mismo tiempo, permitan movimientos del personaje fluidos y naturales.

• Módulo de emoción de audio (AEM): extrae información emocional del audio y la imagen de referencia, generando expresiones y movimientos sutiles, lo que permite que el humano digital muestre expresiones faciales correspondientes según la emoción del audio.

• Adaptador de audio感知 facial (FAA): a través de la tecnología de máscara facial, aísla el audio de cada personaje, logrando un control preciso en escenas con varias personas, lo que permite controlar de forma independiente la sincronización de labios y las expresiones de diferentes personajes, evitando que los movimientos de diferentes personajes se afecten entre sí.

Cómo usar HunyuanVideo - Avatar

Puedes probarlo en el sitio web oficial de Tencent Hunyuan (https://hunyuan.tencent.com/) en "Plaza de modelos - Generación de video Hunyuan - Humano digital - Impulsado por audio - HunyuanVideo - Avatar". Actualmente, admite la carga de audio de no más de 14 segundos para la generación de videos.

Escenarios de aplicación de HunyuanVideo - Avatar

• Creación de videos cortos: puede generar rápidamente fragmentos de video de diálogos, actuaciones y otros en diversas escenas.

• Publicidad de comercio electrónico: se utiliza para producir videos de presentación de productos, anuncios interactivos entre varias personas, etc.

• Asistentes virtuales o juegos: crea avatares animados para mejorar la experiencia interactiva.

Enlaces del proyecto

Página principal del proyecto:https://hunyuanvideo-avatar.github.io

Dirección de GitHub:https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar