Audio2Face : animation faciale 3D à partir de la voix 129

Audio2Face, une application alimentée par l'IA qui génère des animations faciales 3D expressives à partir de la voix. Audio2Face simplifie l'animation des personnages 3D pour qu'elle corresponde à n'importe quelle piste de voix off, que vous créiez des animations de personnages pour des jeux, des films, des assistants numériques en temps réel, ou simplement pour le plaisir. Vous pouvez utiliser cette application pour des applications interactives en temps réel ou comme outil traditionnel de création d'animations faciales.

Comment fonctionne Audio2Face ?

L'application Omniverse Audio2Face est basée sur un article de recherche original de NVIDIA Research. Audio2Face est livré avec un « marqueur numérique » pré-installé — un modèle de personnage 3D qui peut être animé avec votre piste audio, ce qui facilite grandement la prise en main. Il suffit de sélectionner votre fichier audio et de le télécharger dans l'application. La technologie envoie l'entrée audio à un réseau neuronal profond pré-entraîné, dont la sortie pilote en temps réel l'animation faciale du personnage. Les utilisateurs peuvent choisir de modifier divers paramètres de post-traitement pour ajuster la performance du personnage. Ensuite, la sortie du réseau pilote les sommets 3D du maillage du personnage pour créer l'animation faciale. Les résultats que vous voyez sur cette page sont pour la plupart la sortie brute d'Audio2Face, avec pratiquement aucune édition des paramètres de post-traitement.

Applications concrètes d'Audio2Face :

Langues

Audio2Face sera capable de gérer facilement n'importe quelle langue. Nous ajoutons régulièrement de plus en plus de langues. Découvrez ces tests en anglais, français, italien et russe.

Robot d'animation conversationnelle Misty

Présenté lors du GTC Spring 2020, Misty est un robot météo interactif piloté en temps réel par Audio2Face. Nous avons démontré le redécoupage depuis un maillage humain réaliste vers un maillage de personnage stylisé, à utiliser comme agent de service interactif.

Omniverse Machinima

Audio2Face a fait ses débuts lors du lancement de la série GeForce 30, apparaissant dans la démo Omniverse Machinima. Comme on le sait, l'animation faciale est extrêmement complexe et coûteuse. Audio2Face automatise l'animation faciale détaillée, démocratisant ainsi le processus de création de contenu 3D.

Visages

Audio2Face peut utiliser n'importe quelle piste audio pilotée par une conversation et est finalement capable de se redécouper sur n'importe quel visage 3D, qu'il soit réaliste ou stylisé. Regardez ce test où nous passons du Digital Mark à Rain.

Personnages expérimentaux

Créatures et extraterrestres

Cette fonctionnalité vous permet de redécouper et de piloter des animations faciales pour des créatures fantastiques et des extraterrestres. Ici, nous avons le marqueur numérique qui pilote la performance d'un extraterrestre.