Audio2Face: animación facial 3D a partir de voz 126

Audio2Face es una aplicación impulsada por IA que genera animaciones faciales en 3D expresivas a partir de la voz. Audio2Face simplifica la animación de personajes 3D para que coincida con cualquier pista de voz en off, ya sea que esté animando personajes para juegos, películas, asistentes digitales en tiempo real, o simplemente por diversión. Puede usar la aplicación para aplicaciones interactivas en tiempo real o como una herramienta tradicional de creación de animación facial.

¿Cómo funciona Audio2Face?

La aplicación Omniverse Audio2Face se basa en un artículo original de NVIDIA Research. Audio2Face viene precargado con "Digital Mark": un modelo de personaje 3D que se puede animar con su pista de audio, por lo que es fácil comenzar. Simplemente elija su audio y cárguelo en la aplicación. La tecnología introduce la entrada de audio en una red neuronal profunda previamente entrenada, y la salida de la red impulsa la animación facial del personaje en tiempo real. Los usuarios pueden elegir editar varios parámetros de posprocesamiento para editar la interpretación del personaje. Luego, la salida de la red controla los vértices 3D de la malla del personaje para crear la animación facial. Los resultados que ve en esta página son en su mayoría la salida sin procesar de Audio2Face, con poca o ninguna edición de los parámetros de posprocesamiento.

Aplicaciones prácticas de Audio2Face:

Idiomas

Audio2Face podrá manejar cualquier idioma con facilidad. Agregaremos cada vez más idiomas periódicamente. Vea estas pruebas en inglés, francés, italiano y ruso.

Robot de chat animado Misty

Misty, presentado en GTC Spring 2020, es un robot meteorológico interactivo impulsado por Audio2Face en tiempo real. Demostramos la redirección desde mallas humanas realistas hasta mallas de personajes estilizados para su uso como agentes de servicio interactivos.

Omniverse Machinima

Audio2Face hizo su debut en el lanzamiento de la serie GeForce 30, apareciendo en la demostración de Omniverse Machinima. Como todos saben, la animación facial es muy compleja y costosa. Audio2Face automatiza animaciones faciales detalladas, democratizando el proceso de creación de contenido 3D.

Rostros

Audio2Face puede tomar cualquier pista de audio impulsada por conversación y, en última instancia, redirigirla a cualquier rostro 3D, ya sea realista o estilizado. Mire esta prueba en la que redireccionamos desde Digital Mark a Rain.

Personajes experimentales

Criaturas y alienígenas

Esta función le permite redirigir y animar los rostros de criaturas fantásticas y alienígenas. Aquí tenemos a Digital Mark dirigiendo la interpretación de un alienígena.