Media2Face_云技派,专注ai人工智能! 82

Im Bereich der künstlichen Intelligenz war die Erzeugung genauer Gesichtslippenbewegungen aus Sprache schon immer eine anhaltende Herausforderung. Doch der Durchbruch ist da – Media2Face.

Media2Face ist ein Tool zur Erzeugung koexistierender Sprach-Gesichtsanimationen, das durch multimodale Eingaben wie Audio, Text und Bilder gesteuert wird. Es nutzt die Führung durch Audio-, Text- und Bildeingaben, um die menschliche Sprache auf natürliche Weise zu imitieren, und führt das Generalized Neural Parametric Face Asset (GNPFA) ein. Dies ist ein effizienter Ersatzlatentraum, der Ausdruck und Identität entkoppelt. Anschließend nutzen wir GNPFA, um aus einer großen Menge an Videos einen Variationsautoencoder zu extrahieren, der Gesichtsgeometrie und Bilder auf hochgradig verallgemeinerte Ausdrücke abbilden kann, um qualitativ hochwertige Ausdrücke und genaue Kopfposen zu erhalten.

Aufgrund der begrenzten Verfügbarkeit hochwertiger 4D-Gesichtsdaten steht die Synthese von 3D-Gesichtsbewegungen aus Sprache vor Herausforderungen. Mit Media2Face ist es nun jedoch möglich, nahtlos realistische und ausdrucksstarke Gesichtsanimationen aus beliebigen Audio-, Bild- oder Texteingaben zu erzeugen.

Media2Face kann audiosynchrone, ausdrucksstarke 3D-Gesichtsanimationen auf Basis von Klängen erzeugen. Gleichzeitig ermöglicht es dem Benutzer eine feinere, individuellere Anpassung der erzeugten Gesichtsanimation, wie z. B. die Anpassung von Emotionen wie „Freude" oder „Trauer". Media2Face kann außerdem verschiedene Arten von Eingabeinformationen (Audio, Text, Bilder) verstehen und diese als Leitfaden für die Erzeugung der Gesichtsanimation nutzen.

Praktische Anwendungen von Media2Face:

• Erstellung von Dialogszenen: Basierend auf einem von Ihnen geschriebenen Skript kann der Computer animierte Szenen mit Personen-Dialogen erzeugen.

• Erstellung stilisierter Gesichtsanimationen: Sie können dem Computer ein Emoji geben, und er erstellt auf dessen Grundlage eine Animation.

• Emotionaler Gesang: Der Computer kann außerdem in verschiedenen Sprachen singen und die entsprechenden Emotionen zum Ausdruck bringen.

• Personalisierte Animationen: Das Bemerkenswerteste Merkmal ist, dass dieses Projekt personalisierte Gesichtsanimationen erstellen kann, die zu unterschiedlichen Ethnien, Altersgruppen und Geschlechtern passen.

• Film- und Fernsehproduktionsfirmen nutzen Media2Face, um Gesichtsanimationen virtueller Charaktere in Filmen zu erzeugen.

• Virtuelle Moderationsplattformen nutzen Media2Face, um Gesichtsausdrücke für virtuelle Moderatoren zu erzeugen.

• Spieleentwicklungsunternehmen setzen Media2Face bei der Gestaltung virtueller Charaktere zur Erzeugung von Gesichtsanimationen ein.

Wie funktioniert Media2Face?

Das Funktionsprinzip des Media2Face-Projekts umfasst mehrere Schlüsseltechnologien und Schritte, die es ihm ermöglichen, aus Sprache 3D-Gesichtsanimationen mit reichen Ausdrücken und Emotionen zu synthetisieren. Im Folgenden der Hauptablauf des Projekts:

1. Generalized Neural Parametric Face Asset (GNPFA):

Zunächst erstellte das Forschungsteam ein spezielles Werkzeug (genannt GNPFA), das wie eine große Datenbank für Gesichtsausdrücke funktioniert. Egal welchen Ausdruck Sie wünschen, dieses Werkzeug kann Ihnen dabei helfen, ihn zu finden, und stellt gleichzeitig sicher, dass die Gesichtsanimation jeder Person einzigartig ist und nicht mit anderen verwechselt wird.

Dieser Prozess erreicht eine Entkopplung von Ausdruck und Identität, sodass derselbe Ausdruck zwischen verschiedenen Identitäten übertragen werden kann.

Anschließend verarbeiteten sie mit diesem Werkzeug zahlreiche Videos und extrahierten daraus qualitativ hochwertige Ausdrücke und Kopfbewegungen. So entstand ein riesiger Datensatz, der eine Vielzahl verschiedener Gesichtsanimationen sowie entsprechende Emotions- und Stiletiketten enthält.

2. Multimodal gesteuerte Animationserzeugung:

Media2Face verwendet ein Diffusionsmodell im Latentraum von GNPFA zur Erzeugung von Animationen. Dieses Modell kann multimodale Eingaben aus Audio, Text und Bildern akzeptieren.

Das Modell nutzt Audio-Merkmale und CLIP-Latentcodes als Bedingungen, um zusammen mit einer verrauschten Version der Ausdrucks-Latentcode-Sequenz sowie Kopfbewegungscodes (d. h. Kopfposen) ein Denoising durchzuführen. Die Bedingungen werden zufällig maskiert und durch Cross-Attention mit den verrauschten Kopfbewegungscodes verarbeitet.

3. Erzeugung von Ausdrücken und Kopfposen:

Mithilfe von GNPFA werden aus einer großen Menge an Videos qualitativ hochwertige Ausdrücke und genaue Kopfposen extrahiert. Dies präsentiert den M2F-D-Datensatz – ein großer, vielfältiger und auf Scanqualität basierender Datensatz für koexistierende Sprach-3D-Gesichtsanimationen mit sorgfältig annotierten Emotions- und Stiletiketten.

4. Feinabstimmung von Ausdruck und Stil:

Über den Ausdrucks-Encoder werden Ausdrucks-Latentcodes von Schlüsselbildern extrahiert, und CLIP liefert Stil-Hinweise pro Bild, wie z. B. „Freude" oder „Trauer". So können Benutzer die Intensität der Animation und den Steuerungsbereich anpassen.

Durch diese technischen Schritte ist Media2Face in der Lage, audiosynchrone, ausdrucksstarke 3D-Gesichtsanimationen zu erzeugen, die komplexe emotionale Ausdrücke und Stilveränderungen unterstützen. Es bietet ein leistungsstarkes Werkzeug zur Erstellung virtueller Charaktere und zur Verbesserung des interaktiven Erlebnisses von KI-Digitalmenschen. Zahlreiche Experimente zeigen, dass Media2Face nicht nur eine hohe Wiedergabetreue bei der Synthese von Gesichtsanimationen erreicht, sondern auch die Ausdruckskraft und stilistische Anpassungsfähigkeit von 3D-Gesichtsanimationen erweitert.