StableAvatar: herramienta para generar directamente vídeos cantando o hablando a partir de audio 129

¿Qué es StableAvatar?

StableAvatar es una herramienta capaz de generar vídeos de canto o habla directamente a partir de audio, desarrollada por investigadores de instituciones como la Universidad de Fudan, Microsoft Research Asia y la Universidad de Xi'an Jiaotong. Además, la duración del vídeo no está limitada y la calidad de imagen es muy alta.

Tecnología principal de StableAvatar

• Adaptador de audio con conciencia del paso temporal: esta tecnología sirve principalmente para evitar que la información de audio se pierda durante el proceso de conversión. Realiza un tratamiento de "atención cruzada" entre la información de audio inicial y la información inicial de la imagen (en pocas palabras, hace que ambas se relacionen mejor), luego aplica "embeddings de paso temporal" para realizar ajustes (similar a ajustar con precisión la información en distintos puntos temporales) y, por último, obtiene una información de audio más precisa, evitando que la imagen y el audio no coincidan o que la imagen se deforme al generar el vídeo.

• Mecanismo de guiado nativo por audio: en la última etapa de generación del vídeo (es decir, la etapa de inferencia), utiliza la información de audio e imagen que el propio modelo predice, tratando estos cambios dinámicos como "señales de guiado" para que el vídeo generado y el audio estén más sincronizados y no se produzcan desajustes entre el sonido y el movimiento de los labios.

• Estrategia de desruido por ventana deslizante con ponderación dinámica: al generar vídeos largos, la imagen tiende a congelarse o a perder continuidad. Esta tecnología fusiona la información de variables latentes de la imagen (que se puede entender como características ocultas de la imagen) en la dimensión temporal, haciendo que la transición entre fotogramas del vídeo largo sea más suave y evitando saltos o deformaciones repentinas.

Principio de funcionamiento de StableAvatar

• Procesamiento del audio: primero se extraen las características del audio (es decir, los audio embeddings) del audio de entrada mediante el modelo Wav2Vec y, a continuación, se optimizan dichas características con el "adaptador de audio" mencionado anteriormente para que la información de audio sea más precisa.

• Procesamiento de la imagen de referencia (por ejemplo, la foto inicial de una persona): la imagen de referencia se introduce en el modelo de generación de vídeo a través de dos vías:

• Primera vía: la imagen de referencia y los fotogramas con relleno cero (equivalentes a fotogramas en blanco) se concatenan a lo largo del eje temporal y, a continuación, se pasan por un codificador 3D VAE fijo para convertirlos en codificaciones de variables latentes (similares a información oculta de la imagen). Estas codificaciones de variables latentes se concatenan en el eje de canal con los fotogramas de vídeo comprimidos y con una máscara binaria (que sirve para marcar qué partes deben procesarse de forma prioritaria), proporcionando así la base para la posterior generación de la imagen.

• Segunda vía: mediante el codificador CLIP (un modelo capaz de extraer características clave de las imágenes), la imagen de referencia se convierte en image embeddings (características de imagen) y, a continuación, dichas características se introducen en cada "módulo de atención cruzada imagen-audio" del módulo de desruido (DiT), con el objetivo de que el aspecto de la persona en el vídeo generado sea coherente con la imagen de referencia.

• Generación del vídeo: en la etapa de inferencia, los fotogramas del vídeo real que deberían introducirse originalmente se sustituyen por ruido aleatorio (es el procedimiento habitual en este tipo de modelos), mientras que el resto de entradas (por ejemplo, el audio optimizado y la información de la imagen de referencia procesada) se mantienen sin cambios. Por último, el modelo calcula y genera fotogramas consecutivos del vídeo, formando así un vídeo completo.

Ventajas de StableAvatar

• Capacidad para generar vídeos extralargos: la mayoría de las herramientas anteriores solo podían generar vídeos cortos de menos de 15 segundos, mientras que StableAvatar puede generar vídeos de cualquier duración, manteniendo además una alta calidad de imagen (alta fidelidad).

• La apariencia del personaje no se altera: incluso en vídeos muy largos, la cara y los movimientos corporales del personaje del vídeo se mantienen coherentes, sin que se produzcan deformaciones faciales, proporciones corporales extrañas o incoherencias en el aspecto a lo largo del tiempo.

• No requiere procesamiento adicional: los vídeos generados se pueden utilizar directamente, sin necesidad de recurrir a otras herramientas para retocar la cara (como las habituales herramientas de sustitución facial FaceFusion o los modelos de restauración GFP-GAN, CodeFormer, etc.), lo que ahorra muchas complicaciones.

Escenarios de aplicación de StableAvatar

1. Cine y producción de vídeo

• Escenas de acción de alta dificultad: ya no es necesario que los actores arriesguen su vida para rodar acciones peligrosas (por ejemplo, saltos desde edificios o explosiones); con esta herramienta se pueden reducir los costes y los riesgos.

• Animación de personajes: permite añadir movimientos y expresiones realistas a los personajes de películas o vídeos, haciendo que estos resulten más vivos.

• Restauración de películas antiguas: puede restaurar y aclarar a los personajes presentes en películas antiguas, devolviendo la vitalidad a personajes clásicos.

2. Desarrollo de videojuegos

• Animación de personajes: los movimientos y expresiones de los personajes del juego son más realistas, lo que aumenta la sensación de inmersión del jugador.

• Cinematografías de transición: los vídeos de transición de la trama del juego son más espectaculares, lo que anima a los jugadores a seguir jugando.

• Interacción con personajes virtuales: los NPC (personajes no jugadores) del juego presentan movimientos y expresiones más naturales, lo que hace que el mundo del juego resulte más realista.

3. Realidad virtual (VR) y realidad aumentada (AR)

• Creación de personajes virtuales: genera personajes realistas en aplicaciones de VR/AR, de modo que los usuarios sientan que interactúan con personas reales.

• Socialización en VR: los usuarios pueden chatear e interactuar con personajes virtuales generados, lo que aumenta la diversión social.

• Turismo en VR: permite a los usuarios "experimentar en primera persona" paisajes de todo el mundo a través de dispositivos de VR, como si realmente estuvieran viajando.

4. Redes sociales y transmisiones en directo

• Presentadores virtuales: la imagen del presentador virtual generado se mantiene siempre coherente y los efectos de animación durante la transmisión en directo son más realistas.

• Contenido creativo: los creadores de vídeos cortos y los artistas digitales pueden utilizarla para diseñar todo tipo de imágenes dinámicas interesantes y crear contenidos más creativos.

5. Educación y atención al cliente

• Asistentes virtuales: en escenarios de educación o atención al cliente, se generan profesores o agentes virtuales con un aspecto coherente, ofreciendo un servicio más vivo y personalizado (por ejemplo, un profesor virtual que mantiene siempre el mismo aspecto al dar clase a los alumnos).

6. Publicidad y marketing digital

• Publicidad de calidad cinematográfica: permite generar acciones complejas de personajes y efectos de cámara, siendo adecuada para crear anuncios, cortometrajes o animaciones promocionales, con una calidad de imagen equiparable a la del cine.