JoyGen: Audio-gesteuertes 3D-Framework zur Erzeugung sprechender Gesichts Videos 128

JoyGen ist ein audio-gesteuertes 3D-Sprechgesicht-Videoerzeugungs-Framework, das gemeinsam von JD Technology und der University of Hongkong entwickelt wurde – ein neuartiges zweistufiges Framework. Die Technologie besteht darin, 3D-tiefenwahrnehmende Modelle durch Audioeingaben zu steuern und eine präzise Lippen-Audio-Synchronisation bereitzustellen, um die Lippenbewegungen und Gesichtsausdrücke des Sprechers exakt zu simulieren und die erzeugten Videos realistischer zu machen. Es wird hauptsächlich in den Bereichen Videobearbeitung und virtuelle Interaktion eingesetzt.

JoyGen wurde mit einem chinesischen Sprechgesicht-Datensatz trainiert, der 130 Stunden hochwertige Videos enthält. In Kombination mit dem offenen HDTF-Datensatz (High-Resolution Deep-Face-Datensatz) unterstützt es chinesische und englische Eingaben.

Darüber hinaus berücksichtigt JoyGen auch die emotionalen Merkmale des Audios und kann die emotionalen Veränderungen der Figur – wie Lächeln oder Stirnrunzeln – auf natürliche Weise in der erzeugten Animation darstellen. Das ist wirklich beeindruckend.

Kernfunktionen von JoyGen:

• Mehrsprachige Unterstützung: JoyGen kann Audioeingaben in mehreren Sprachen wie Chinesisch und Englisch verarbeiten.

• Hochwertige visuelle Effekte: Durch detaillierte Verarbeitung von Gesichtsausdrücken und Lippendetails sind die erzeugten Videos äußerst realistisch.

• Präzise Lippensynchronisation: Durch Audio-Merkmalsanalyse und Gesichts-Tiefenkarten-Technik sind die Lippenbewegungen der Figuren im Video perfekt auf den Audioinhalt abgestimmt.

• Videobearbeitungs-Optimierung: Es können nicht nur neue Videos erzeugt, sondern auch die Lippenbewegungen in bestehenden Videos bearbeitet werden, ohne die gesamte Videosequenz von vorne erstellen zu müssen.

• Effiziente technische Architektur: Durch die Verwendung einer einstufigen UNet-Architektur wird der Videobearbeitungsprozess deutlich vereinfacht.

Technische Prinzipien:

1. Audio-gesteuerte Erzeugung von Lippenbewegungen:

• Mit einem 3D-Rekonstruktionsmodell werden Identitätsmerkmale aus Gesichts Bildern extrahiert, um die individuelle Gesichtsstruktur einer Person zu definieren.

• Über ein Audio-zu-Bewegung-Modell werden Audiosignale in Ausdruckskoeffizienten umgewandelt, die die Lippenbewegungen steuern.

• Durch die Kombination von Identitäts- und Ausdruckskoeffizienten werden mittels differenzierbarer Rendering-Technik Gesichts-Tiefenkarten erzeugt, die für die anschließende Videosynthese vorbereitet werden.

2. Visuelle Erscheinungssynthese:

• Ein einstufiges UNet-Netzwerk integriert Audiomerkmale und Tiefenkarten, um direkt Videoframes mit präzisen Lippenbewegungen zu erzeugen.

• Ein Cross-Attention-Mechanismus stellt sicher, dass die Lippenbewegungen hochgradig mit dem Audiosignal übereinstimmen, und verbessert so die Synchronisation.

• Durch Optimierungsverfahren (z. B. die L1-Verlustfunktion) wird die Videoqualität sichergestellt, wobei sowohl pixelgenaue als auch latente Raumgenauigkeit berücksichtigt werden.

So verwenden Sie JoyGen:

• Umgebungseinrichtung: Benutzer müssen eine bestimmte conda-Umgebung erstellen und die erforderlichen Pakete installieren, einschließlich spezifischer Bibliotheken wie Nvdiffrast.

• Herunterladen der vortrainierten Modelle: Die vortrainierten Modelle von JoyGen werden bezogen, darunter das 3D-Modell und das Audio-zu-Bewegung-Modell. Diese Ressourcen sind in der Regel auf der GitHub-Projektseite verfügbar.

• Inferenz ausführen: Durch das Ausführen bestimmter Skripte und Parameter können Benutzer Audiodateien in 3D-Sprechgesicht-Videos mit realistischer Lippensynchronisation umwandeln.

Anwendungen von JoyGen:

• Virtuelle Meetings: Verbesserung der Gesichtsausdrücke in virt Meetings.

• Film- und Fernsehproduktion: Erstellung von Spezialeffekten in Filmen und Fernsehen.

• Bildung und Training: Zur Erstellung lebendiger Lehrvideos.

• KI-Assistenten: Erhöhung des anthropomorphen Grades von KI-Assistenten in der Interaktion zwischen Mensch und Maschine.

JoyGen vereinfacht die komplexe Erzeugung von Gesichts-Videos erheblich und spielt in Bereichen wie digitalen Menschen in der Content-Erstellung, virtuellen Meetings und Unterhaltung eine sehr große Rolle.

GitHub: https://github.com/JOY-MM/JoyGen