Audio2Face: 3D-Gesichtsanimationen aus Sprache 130

Audio2Face, eine von KI gesteuerte Anwendung, die aus Sprachaufnahmen ausdrucksstarke 3D-Gesichtsanimationen erzeugt. Audio2Face vereinfacht die Animation von 3D-Charakteren, sodass sie zu jeder Voice-Over-Spur passen – unabhängig davon, ob Sie Charaktere für Spiele, Filme, digitale Echtzeit-Assistenten animieren oder einfach zum Spaß damit arbeiten. Sie können die Anwendung für interaktive Echtzeit-Anwendungen oder als herkömmliches Werkzeug zur Erstellung von Gesichtsanimationen verwenden.

Wie funktioniert Audio2Face?

Die Omniverse Audio2 Face-App basiert auf einer Originalarbeit von NVIDIA Research. Audio2Face wird mit einem „Digital Mark" vorgefertigt ausgeliefert – einem 3D-Charaktermodell, das mit Ihrer Audiospur animiert werden kann, sodass der Einstieg einfach ist. Wählen Sie einfach Ihr Audio aus und laden Sie es in die Anwendung hoch. Die Technik leitet den Audioeingang in ein vortrainiertes tiefes neuronales Netzwerk, dessen Ausgabe die Gesichtsanimation des Charakters in Echtzeit steuert. Die Benutzer können verschiedene Nachbearbeitungsparameter auswählen, um die Darbietung des Charakters zu bearbeiten. Die Ausgabe des Netzwerks steuert dann die 3D-Vertices des Charakternetzes, um die Gesichtsanimation zu erzeugen. Die Ergebnisse, die Sie auf dieser Seite sehen, sind größtenteils die direkten Ausgaben von Audio2Face, wobei kaum Nachbearbeitungsparameter verändert wurden.

Praxisbeispiele für Audio2Face:

Sprachen

Audio2Face wird problemlos mit jeder Sprache umgehen können. Wir werden regelmäßig immer weitere Sprachen hinzufügen. Sehen Sie sich diese Tests in Englisch, Französisch, Italienisch und Russisch an.

Misty Animations-Chat-Roboter

Misty, der auf dem GTC Spring 2020 vorgestellt wurde, ist ein interaktiver Wetterroboter, der zur Laufzeit von Audio2Face gesteuert wird. Wir haben das Retargeting von realistischen menschlichen Netzen auf stilisierte Charakter-Netze für den Einsatz als interaktive Service-Agenten demonstriert.

Omniverse Machinima

Audio2Face feierte sein Debüt auf der GeForce-RTX-30-Serie-Vorstellung und war in der Omniverse-Machinima-Demo zu sehen. Gesichtsanimationen sind bekanntermaßen äußerst komplex und kostspielig. Audio2Face automatisiert die detaillierte Gesichtsanimation und demokratisiert so den 3D-Content-Erstellungsprozess.

Gesichter

Audio2Face kann jede dialoggesteuerte Audiospur verwenden und letztendlich auf jedes 3D-Gesicht retargetet werden, sei es realistisch oder stilisiert. Sehen Sie sich diesen Test an, bei dem wir das Retargeting von Digital Mark zu Rain durchführen.

Experimentelle Charaktere

Kreaturen und Außerirdische

Dieses Feature ermöglicht es Ihnen, die Gesichtsanimationen von Fantasiewesen und Außerirdischen zu retargeten und zu steuern. Hier sehen Sie, wie Digital Mark die Darbietung eines Außerirdischen antreibt.