Alibaba EMO: crea vídeos hablando o cantando con una foto y un audio 279

El Instituto de Computación Inteligente del Grupo Alibaba presenta con orgullo EMO: Emote Portrait Alive, una IA revolucionaria que puede generar retratos expresivos en video con solo una imagen y audio. La duración del video generado coincide con la de tu audio, con conversaciones y cantos muy realistas, compatible con cualquier voz, cualquier velocidad de habla, cualquier imagen...

A diferencia de los métodos tradicionales, EMO utiliza un enfoque directo de audio a video, evitando la necesidad de modelos 3D intermedios o puntos de referencia faciales. Esto garantiza transiciones de fotogramas fluidas en todo el video y una conservación consistente de la misma identidad, produciendo animaciones altamente expresivas y realistas, lo que significa transiciones más suaves y expresiones más naturales.

¡EMO incluso destaca en la creación de videos de canto en varios estilos! ¡Imagina crear un video musical usando solo una imagen de tu artista favorito!

Artículo de investigación de EMO: https://arxiv.org/pdf/2402.17485.pdf

Dirección de código abierto de EMO: https://humanaigc.github.io/emote-portrait-alive/

Funciones principales de EMO:

1. Generación de video de retratos impulsada por audio: utilizando una sola imagen de referencia y entrada de audio (como habla o canto), EMO puede generar videos de retratos virtuales con cambios de expresión y dinámica de cabeza. Esto significa que los usuarios pueden crear videos dinámicos que hablan o cantan proporcionando una imagen estática y el archivo de audio correspondiente. Independientemente de los cambios de expresión o los movimientos de cabeza del personaje en el video, sus características básicas se derivan de esta imagen de referencia.

2. Renderizado dinámico con expresiones enriquecidas y soporte de posturas de cabeza: EMO enfatiza especialmente la generación de movimientos faciales naturales y expresivos en los videos. Puede capturar expresiones faciales sutiles y movimientos de cabeza, creando videos de conversación y canto realistas, generando animaciones faciales que parecen naturales y vívidas, lo que aumenta la dinámica y el realismo del video.

3. Soporte para múltiples idiomas y estilos de retrato: esta tecnología no se limita a un idioma o estilo musical específico, puede manejar entradas de audio en varios idiomas y admite diversos estilos de retrato, incluidos personajes históricos, obras de pintura, modelos 3D y contenido generado por IA, entre otros.

4. Sincronización con ritmos rápidos: EMO es capaz de procesar audio de ritmo rápido, como letras o habla a alta velocidad, asegurando que los movimientos del retrato virtual se mantengan sincronizados con el ritmo del audio.

5. Transferencia de interpretación entre actores: EMO permite la transferencia de interpretación entre diferentes actores, lo que permite que el avatar virtual de un actor imite la interpretación específica de otro actor o voz, ampliando la diversidad y los escenarios de aplicación de la representación de personajes.

Escenarios de aplicación de EMO:

• Creación de doblaje instantáneo

• Creación de personajes realistas y expresivos para películas y videojuegos

• Desarrollo de materiales educativos interactivos y atractivos

• Dar a los asistentes virtuales un aspecto y una sensación más humanos

• Hacer que las videoconferencias sean más atractivas y personalizadas

• Creación de videos de marketing y publicidad más atractivos e inolvidables

Los resultados experimentales muestran que EMO no solo puede crear videos hablados convincentes, sino también videos de canto en varios estilos, superando claramente a los métodos más avanzados existentes en expresividad y realismo. Establece un nuevo estándar para la generación de video y tiene un gran significado para el futuro.