FantasyTalking: herramienta de Alibaba para generar retratos parlantes realistas a partir de una sola imagen estática 55

¿Qué es FantasyTalking?

FantasyTalking es una herramienta de generación de animación de personajes virtuales desarrollada por Alibaba, capaz de generar retratos parlantes dinámicos y realistas a partir de una única imagen estática. Emplea una estrategia de alineación audio-visual en dos etapas para garantizar una sincronización precisa entre los movimientos de los labios y la voz. Al mismo tiempo, mediante un módulo de atención cruzada centrado en el rostro y un módulo de modulación de la intensidad del movimiento, genera animaciones naturales y diversas. Aplicada en videojuegos, cine y realidad virtual, permite producir rápidamente animaciones de personajes virtuales de alta calidad.

Principio técnico de FantasyTalking

• Estrategia de alineación audio-visual en dos etapas: en la primera etapa se adopta un esquema de entrenamiento a nivel de fragmento, alineando la dinámica impulsada por audio en toda la escena, incluyendo el retrato de referencia, los objetos contextuales y el fondo, para establecer un movimiento global coherente; en la segunda etapa, una máscara de seguimiento labial refina el movimiento de los labios a nivel de fotograma, asegurando una sincronización precisa con la señal de audio.

• Módulo de atención cruzada centrado en el rostro: sustituye a las redes de referencia habituales, manteniendo eficazmente la consistencia facial en el vídeo.

• Módulo de modulación de la intensidad del movimiento: controla explícitamente la intensidad de las expresiones y los movimientos corporales, de modo que el movimiento del retrato no se limita a los labios, sino que permite animaciones más naturales y variadas.

Funciones principales de FantasyTalking

• Sincronización labial: capaz de reconocer y sincronizar con precisión los movimientos de los labios del personaje virtual con la voz de entrada, de modo que la boca del personaje coincida exactamente con el contenido hablado.

• Generación de movimientos faciales: genera una rica variedad de movimientos faciales como parpadeos, ceños fruncidos y sonrisas, a partir del contenido del habla y la información emocional.

• Generación de movimientos corporales completos: genera movimientos de cuerpo entero como caminar, correr y saltar, según las necesidades de la escena y la trama.

Ventajas clave de FantasyTalking

• Alto realismo: gracias a algoritmos avanzados de inteligencia artificial y técnicas de aprendizaje profundo, las animaciones de personajes virtuales generadas son indistinguibles de las de un ser humano real en apariencia, movimiento y expresión.

• Flexible y fácil de usar: ofrece una interfaz de usuario sencilla e intuitiva, así como abundantes interfaces API, compatible con múltiples formatos de entrada y salida, lo que facilita su aprendizaje rápido e integración en los proyectos del usuario.

• Eficiente y estable: emplea algoritmos optimizados y una arquitectura de cómputo eficiente, capaz de generar animaciones de personajes virtuales de alta calidad en poco tiempo, garantizando al mismo tiempo la estabilidad y fiabilidad del sistema.

Escenarios de aplicación de FantasyTalking

• Desarrollo de videojuegos: puede emplearse para generar animaciones de diálogo, animaciones de combate y otras animaciones de los personajes del juego, mejorando los efectos visuales y la interactividad.

• Producción cinematográfica y televisiva: ayuda a los equipos de producción a generar rápidamente animaciones de interpretación de personajes virtuales y animaciones de efectos especiales de alta calidad, reduciendo los costes de producción y el tiempo.

• Realidad virtual y realidad aumentada: genera animaciones interactivas y animaciones guía de personajes virtuales para aplicaciones de RV y RA, mejorando la sensación de inmersión y la experiencia del usuario.

Sitio web oficial del proyecto:https://fantasy-amap.github.io/fantasy-talking/

Repositorio de Github:https://github.com/Fantasy-AMAP/fantasy-talking

Artículo en arXiv:https://arxiv.org/pdf/2504.04842