Media2Face_云技派,专注ai人工智能! 81

En el campo de la inteligencia artificial, crear movimientos labiales faciales precisos a partir de la voz siempre ha sido un desafío constante. Sin embargo, ha llegado un avance: Media2Face.

Media2Face es una herramienta de generación de animación facial con voz sincronizada guiada de forma multimodal mediante audio, texto e imagen. Aprovecha la guía de entradas de audio, texto e imagen para imitar de forma natural el lenguaje humano, introduciendo el Activo Facial Paramétrico Neural Generalizado (GNPFA). Se trata de un espacio sustituto eficiente que desacopla la expresión y la identidad. A continuación, utilizamos el GNPFA para extraer de una gran cantidad de vídeos, mediante un autocodificador variacional, que puede mapear la geometría facial y las imágenes a expresiones altamente generalizadas, obteniendo expresiones de alta calidad y posturas precisas de la cabeza.

Debido a la escasez de datos faciales 4D de alta calidad, la síntesis de animación facial 3D a partir de la voz enfrenta desafíos. Sin embargo, con la ayuda de Media2Face, ahora es posible generar de forma fluida animaciones faciales realistas y expresivas a partir de cualquier entrada de audio, imagen o texto.

Media2Face es capaz de generar animaciones faciales 3D sincronizadas con la voz y ricas en expresividad basándose en el sonido. Al mismo tiempo, permite a los usuarios realizar ajustes personalizados más detallados sobre la animación facial generada, como el ajuste de emociones, por ejemplo "alegría" o "tristeza". Media2Face también es capaz de comprender múltiples tipos de información de entrada (audio, texto, imagen) y utilizarlos como guía para generar la animación facial.

Aplicaciones prácticas de Media2Face:

• Creación de escenas de diálogo: a partir del guion que escribas, el ordenador puede generar escenas animadas de diálogos entre personajes.

• Creación de animaciones faciales estilizadas: puedes proporcionarle un emoticono al ordenador y este creará una animación basándose en dicho símbolo.

• Canto emocional: el ordenador también puede cantar en distintos idiomas, mostrando las emociones correspondientes.

• Animación personalizada: lo más sorprendente es que este proyecto es capaz de crear animaciones faciales personalizadas adaptadas a diferentes etnias, edades y géneros.

• Productoras audiovisuales utilizan Media2Face para generar las animaciones faciales de personajes virtuales en sus películas.

• Plataformas de presentadores virtuales utilizan Media2Face para generar las expresiones faciales de los presentadores virtuales.

• Estudios de desarrollo de videojuegos aplican Media2Face en el diseño de personajes virtuales para generar sus animaciones faciales.

¿Cómo funciona Media2Face?

El principio de funcionamiento del proyecto Media2Face involucra varias tecnologías y pasos clave que le permiten sintetizar, a partir de la voz, animaciones faciales 3D con gran riqueza de expresiones y emociones. A continuación se muestra el flujo de trabajo principal del proyecto:

1. Activo Facial Paramétrico Neural Generalizado (GNPFA):

En primer lugar, el equipo de investigación creó una herramienta especial (denominada GNPFA), que funciona como una gran base de datos de expresiones faciales. Independientemente de la expresión que desees, esta herramienta puede ayudarte a encontrarla y, además, garantiza que la animación facial de cada persona sea única y no se confunda con la de los demás.

Este proceso logra el desacoplamiento entre expresión e identidad, lo que permite transferir la misma expresión entre identidades diferentes.

A continuación, utilizaron esta herramienta para procesar un gran número de vídeos, extrayendo de ellos expresiones de alta calidad y movimientos de la cabeza. De este modo, se creó un enorme conjunto de datos que contiene una gran variedad de animaciones faciales con sus correspondientes etiquetas de emoción y estilo.

2. Generación de animaciones guiada de forma multimodal:

Media2Face emplea un modelo de difusión para llevar a cabo la generación de animaciones en el espacio latente del GNPFA. Este modelo es capaz de aceptar guía multimodal procedente de audio, texto e imagen.

El modelo toma como condiciones las características de audio y los códigos latentes CLIP, y elimina el ruido junto con la versión ruidosa de la secuencia de códigos latentes de expresión y los códigos de movimiento de la cabeza (es decir, la postura de la cabeza). Las condiciones se enmascaran de forma aleatoria y se procesan mediante atención cruzada con los códigos de movimiento ruidosos de la cabeza.

3. Generación de expresiones y posturas de la cabeza:

Gracias al GNPFA se extraen, a partir de un gran volumen de vídeos, expresiones de alta calidad y posturas precisas de la cabeza. Esto da lugar al conjunto de datos M2F-D, un conjunto de datos de animación facial 3D sincronizada con la voz, a gran escala, diverso y con calidad de escaneo, que dispone de etiquetas de emoción y estilo correctamente anotadas.

4. Ajuste fino de expresiones y estilo:

Mediante el codificador de expresiones se extraen los códigos latentes de expresión de los fotogramas clave y, a través de CLIP, se proporcionan prompts de estilo para cada fotograma, como "alegría" o "tristeza", lo que permite al usuario ajustar la intensidad y el rango de control de la animación.

Gracias a todos estos pasos técnicos, Media2Face es capaz de generar animaciones faciales 3D sincronizadas con la voz y ricas en expresividad, lo que permite complejas expresiones emocionales y variaciones de estilo, ofreciendo una potente herramienta para la creación de personajes virtuales y la mejora de la experiencia interactiva de los humanos digitales de IA. Numerosos experimentos demuestran que Media2Face no solo logra una alta fidelidad en la síntesis de animación facial, sino que también amplía la expresividad y la adaptabilidad de estilo de la animación facial 3D.