Audio2Photoreal: Realistische virtuelle Charaktere aus Audio generieren 219

Erzeugt realistische Ganzkörper-Avatare aus Audio. Es kann realistische Gesichtsausdrücke, vollständige Körperbewegungen und Gesten erzeugen, die zu Gesprächen mit mehreren Sprechern passen.

#Ai工具箱 #Ai开源项目

Besuchen Audio2Photoreal: Realistische virtuelle Charaktere aus Audio generieren

Audio2Photoreal: Realistische virtuelle Charaktere aus Audio generierenEinführung

Meta ai hat kürzlich eine bahnbrechende Technologie veröffentlicht: Audio2PhotoReal, die fotorealistische virtuelle Avatare als Ganzkörperfiguren aus Audio erzeugt. Es kann aus den Stimmen mehrerer Personen in Gesprächen fotorealistische Gesichtsausdrücke, vollständige Körper sowie Gesten und Bewegungen erzeugen, die dem Dialog entsprechen.

Diese erzeugten virtuellen Avatare sehen nicht nur visuell äußerst realistisch aus, sondern spiegeln auch präzise die Gesten- und Ausdrucksdetails aus dem Dialog wider, wie z. B. Zeigen, Handgelenksbewegungen, Schulterzucken, Lächeln, spöttisches Grinsen und mehr.

Funktionsweise von Audio2PhotoReal:

Audio2PhotoReal kombiniert die Vorteile der Diversität vektorquantisierter Stichproben mit den durch Diffusion gewonnenen Hochfrequenzdetails, um dynamischere und ausdrucksstärkere Bewegungen zu erzeugen.

1. Datenerfassung: Zunächst wurde ein umfangreicher Datensatz mit Zweipersonengesprächen erfasst, der fotorealistische Rekonstruktionen ermöglicht.

2. Bewegungsmodelle: Das Projekt entwickelt ein zusammengesetztes Bewegungsmodell, das ein Gesichtsbewegungsmodell, einen Leitgesten-Prädiktor und ein Körperbewegungsmodell umfasst.

3. Gesichtsbewegungserzeugung: Ein vortrainierter Lippenregressor verarbeitet das Audio, um Merkmale im Zusammenhang mit Gesichtsbewegungen zu extrahieren.

Anschließend werden mithilfe eines bedingten Diffusionsmodells Gesichtsbewegungen auf Basis dieser Merkmale erzeugt.

4. Körperbewegungserzeugung: Mit dem Audio als Eingabe werden autoregressiv vektorquantisierte (VQ) Leitgesten mit einer Rate von einem Frame pro Sekunde ausgegeben. Audio und Leitgesten werden gemeinsam in ein Diffusionsmodell eingespeist, das mit 30 Frames pro Sekunde hochfrequente Körperbewegungen erzeugt.

5. Rendering der virtuellen Avatare: Die erzeugten Gesichts- und Körperbewegungen werden in einen trainierten Avatar-Renderer eingespeist, um fotorealistische virtuelle Avatare zu erzeugen.

6. Ergebnispräsentation: Das Endergebnis sind fotorealistische virtuelle Ganzkörper-Avatare, die auf Basis des Audios erzeugt werden und in der Lage sind, feine Ausdrucks- und Gestenbewegungen aus dem Dialog darzustellen.