Media2Face_云技派,专注ai人工智能! 86

Dans le domaine de l'intelligence artificielle, la création de mouvements précis des lèvres à partir de la voix a toujours été un défi permanent. Cependant, une avancée est arrivée : Media2Face.

Media2Face est un outil de génération d'animations faciales synchronisées avec la parole, guidé par plusieurs modalités (audio, texte et image). Il exploite des entrées audio, textuelles et visuelles pour imiter naturellement le langage humain, et introduit le Generalized Neural Parametric Facial Asset (GNPFA). Il s'agit d'un espace latent efficace qui dissocie l'expression et l'identité. Ensuite, nous utilisons le GNPFA pour extraire, à partir d'un grand nombre de vidéos, un autoencodeur variationnel capable de mapper la géométrie faciale et les images vers un espace d'expression hautement généralisé, afin d'obtenir des expressions de haute qualité et des poses de tête précises.

En raison de la rareté des données faciales 4D de haute qualité, la synthèse d'animations faciales 3D à partir de la parole se heurte à des difficultés. Grâce à Media2Face, il est désormais possible de générer de manière fluide des animations faciales réalistes et expressives à partir de n'importe quelle entrée audio, textuelle ou visuelle.

Media2Face est capable de générer des animations faciales 3D synchronisées avec la voix et riches en expression, à partir du son. Il permet également aux utilisateurs d'effectuer des ajustements personnalisés plus fins sur l'animation faciale générée, comme le réglage émotionnel, par exemple « joie » ou « tristesse ». Media2Face peut en outre comprendre plusieurs types d'informations en entrée (audio, texte, image) et les utilise comme guide pour la génération de l'animation faciale.

Applications concrètes de Media2Face :

• Création de scènes de dialogue : à partir d'un script que vous écrivez, l'ordinateur peut générer des scènes animées de dialogues entre personnages.

• Réalisation d'animations faciales stylisées : vous pouvez donner à l'ordinateur un emoji, et il créera une animation correspondante.

• Chant émotionnel : l'ordinateur peut également chanter dans différentes langues en exprimant les émotions correspondantes.

• Animation personnalisée : le plus remarquable, ce projet permet de créer des animations faciales personnalisées adaptées à différentes ethnies, âges et genres.

• Les sociétés de production cinématographique et télévisuelle utilisent Media2Face pour générer les animations faciales des personnages virtuels dans leurs films.

• Les plateformes de présentateurs virtuels exploitent Media2Face pour générer les expressions faciales de leurs animateurs numériques.

• Les studios de développement de jeux vidéo intègrent Media2Face dans la conception de personnages virtuels pour la génération d'animations faciales.

Comment fonctionne Media2Face ?

Le principe de fonctionnement du projet Media2Face repose sur plusieurs technologies et étapes clés qui lui permettent de synthétiser, à partir de la parole, des animations faciales 3D riches en expressions et en émotions. Voici le flux de travail principal du projet :

1. Generalized Neural Parametric Facial Asset (GNPFA) :

Tout d'abord, l'équipe de recherche a créé un outil spécial (appelé GNPFA), qui fonctionne comme une vaste base de données d'expressions faciales. Quel que soit le type d'expression souhaité, cet outil peut vous aider à la trouver, tout en garantissant que l'animation faciale de chaque personne reste unique et ne soit pas confondue avec celle d'une autre.

Ce processus permet la dissociation de l'expression et de l'identité, c'est-à-dire la possibilité de transférer la même expression entre différentes identités.

Ensuite, ils ont utilisé cet outil pour traiter un grand nombre de vidéos, afin d'en extraire des expressions de haute qualité et des mouvements de tête précis. Cela a permis de créer un vaste jeu de données contenant une grande variété d'animations faciales accompagnées de leurs étiquettes d'émotion et de style correspondantes.

2. Génération d'animation guidée multimodale :

Media2Face utilise un modèle de diffusion dans l'espace latent du GNPFA pour générer des animations. Ce modèle accepte un guidage multimodal provenant de l'audio, du texte et des images.

Le modèle prend comme conditions les caractéristiques audio et les codes latents CLIP, et les utilise pour débruiter la version bruitée de la séquence de codes latents d'expression ainsi que les codes de mouvement de tête (c'est-à-dire la pose de la tête). Les conditions sont masquées de manière aléatoire et traitées par attention croisée avec les codes de mouvement de tête bruités.

3. Génération des expressions et des poses de tête :

Le GNPFA est utilisé pour extraire, à partir d'un grand nombre de vidéos, des expressions de haute qualité et des poses de tête précises. Cela a donné naissance au jeu de données M2F-D, un vaste ensemble de données d'animations faciales 3D synchronisées avec la parole, de qualité scan, diversifié et annoté avec des étiquettes d'émotion et de style soigneusement établies.

4. Ajustement fin des expressions et du style :

Grâce à un encodeur d'expressions, les codes latents d'expression des images clés sont extraits, et CLIP fournit pour chaque image des indications de style, telles que « joie » ou « tristesse », permettant à l'utilisateur d'ajuster l'intensité et la plage de contrôle de l'animation.

Grâce à ces différentes étapes techniques, Media2Face est capable de générer des animations faciales 3D synchronisées avec la parole et riches en expression, prenant en charge des expressions émotionnelles complexes et des variations de style, offrant ainsi un outil puissant pour la création de personnages virtuels et l'amélioration de l'expérience d'interaction des humains numériques IA. De nombreuses expériences montrent que Media2Face atteint non seulement un haut niveau de fidélité dans la synthèse d'animations faciales, mais élargit également l'expressivité et l'adaptabilité stylistique des animations faciales 3D.