ChatAnyone: generador de retratos en video de Alibaba desde audio con expresiones ricas y movimiento de la parte superior del cuerpo 148

¿Qué es ChatAnyone?

ChatAnyone es un marco de generación de vídeos de retratos estilizados en tiempo real desarrollado por el laboratorio Tongyi de Alibaba Group, que logra la generación de animación de alta fidelidad desde "cabezas parlantes" hasta interacciones de medio cuerpo, con soporte para expresiones faciales diversificadas y control de estilo. Es adecuado para escenarios como chat de vídeo en tiempo real, presentadores virtuales y asistentes de ia.

Método técnico de ChatAnyone

Modelo de Difusión de Movimiento Jerárquico Eficiente (Hierarchical Motion Diffusion Model)

• Entrada: señal de audio.

• Salida: señales de control facial y corporal, considerando señales de movimiento explícitas e implícitas.

• Función: generar expresiones faciales diversificadas y lograr la sincronización entre los movimientos de la cabeza y el cuerpo.

• Control de expresiones de grano fino: admite cambios de expresión de diferente intensidad, así como la transferencia de expresiones estilizadas desde vídeos de referencia.

Modelo Generativo de Fusión de Control Híbrido (Hybrid Control Fusion Generative Model)

• Generación de expresiones faciales: combina puntos de referencia explícitos y desplazamientos implícitos para generar expresiones faciales realistas.

• Control de movimientos de las manos: inyecta señales de control explícitas de las manos para generar movimientos más precisos y realistas.

• Módulo de optimización facial: mejora el realismo facial, asegurando que el vídeo de retrato generado tenga una alta expresividad y autenticidad.

Marco de generación en tiempo real escalable

• Flexibilidad: admite desde animaciones impulsadas por la cabeza hasta la generación de medio cuerpo que incluye gestos.

• Tiempo real: genera en tiempo real vídeos de retrato de medio cuerpo en una GPU 4090, con una resolución máxima de 512×768 y 30 fps.

Resultados experimentales de ChatAnyone

• Animación de medio cuerpo impulsada por audio: genera vídeos de humanos digitales de medio cuerpo con alta expresividad, compatible con escenarios con manos y sin manos.

• Animación de cabeza impulsada por audio: logra una sincronización de labios de alta precisión, generando posturas de cabeza naturales y expresiones faciales ricas.

• Animación estilizada impulsada por audio: admite la generación de animaciones de personajes estilizados, y también es adecuada para generar vídeos de canto expresivos.

• Demostración de pódcast de IA con dos presentadores: capaz de generar pódcasts con dos presentadores, compatible con conversaciones impulsadas por IA.

• Demostración de interacción en tiempo real: logra una generación en tiempo real a 30 fps en una GPU 4090, compatible con aplicaciones interactivas reales de chat por vídeo.

Ventajas de ChatAnyone

• Alta fidelidad y naturalidad: los vídeos de retrato generados tienen expresiones ricas y movimientos naturales de medio cuerpo.

• Tiempo real: admite interacción en tiempo real, adecuado para escenarios de aplicación como chat por vídeo.

• Control estilizado: permite ajustar el estilo de las expresiones según las necesidades, logrando una generación de animación personalizada.

Escenarios de aplicación de ChatAnyone

Presentadores virtuales y videoconferencias

• Presentadores virtuales para retransmisiones de noticias y ventas en streaming.

• Proporcionar avatares virtuales en videoconferencias para mejorar la interactividad.

Creación de contenido y entretenimiento

• Producción de animación: genera personajes animados estilizados.

• Conciertos virtuales: genera animaciones en tiempo real de cantantes o artistas virtuales.

• Pódcast de IA: genera avatares virtuales para pódcasts con dos presentadores.

Educación y formación

• Educación en línea: genera avatares de profesores virtuales.

• Simulaciones de formación: genera personajes virtuales para diálogos interactivos.

Atención al cliente

• Atención al cliente inteligente: genera avatares de agentes de servicio al cliente virtuales.

• Interacción con clientes: proporciona respuestas e interacciones dinámicas.

Marketing y publicidad

• Portavoces virtuales: genera imágenes de portavoces de marca.

• Vídeos publicitarios: genera contenido publicitario altamente interactivo.

Entretenimiento social

• Chat anónimo: genera avatares virtuales para proteger la privacidad.

• Plataformas sociales: genera avatares virtuales personalizados.

Salud médica

• Consultoría de salud virtual: genera avatares de médicos virtuales.

• Entrenamiento de rehabilitación: genera entrenadores de rehabilitación virtuales.

Otros

• Guías turísticos virtuales: utilizados para la planificación turística y la presentación de lugares de interés.

• Retransmisión de noticias: genera presentadores de noticias virtuales.

Enlaces relacionados

Dirección del proyecto:https://github.com/HumanAIGC/chat-anyone

Dirección del artículo:https://arxiv.org/abs/2506.00920