DreaMoving: Diffusionsbasiertes Framework zur Generierung von Mensch-Videos 165

DreaMoving, ein diffusionsbasiertes steuerbares Video-Generierungs-Framework zur Erzeugung hochwertiger, individueller Tanzvideos von Menschen. Konkret kann DreaMoving bei gegebener Zielidentität und Posenfolge Videos generieren, in denen die Zielidentität, gesteuert durch die Posenfolge, an beliebigen Orten tanzt. Zu diesem Zweck schlagen wir ein Video-ControlNet zur Bewegungskontrolle und einen Content Guider zur Identitätserhaltung vor. Das vorgeschlagene Modell ist einfach zu verwenden und kann an die meisten stilisierten Diffusionsmodelle angepasst werden, um unterschiedliche Ergebnisse zu erzeugen.

DreaMoving Projektadresse:https://dreamoving.github.io/dreamoving

DreaMoving Übersicht:

Das Video ControlNet ist ein Image ControlNet, das nach jedem U-Net-Block Bewegungsblöcke einspeist. Das Video ControlNet verarbeitet die Steuerfolge (Pose oder Tiefe) als zusätzliche zeitliche Residuen. Das Denoising U-Net ist ein abgeleitetes Stable-Diffusion U-Net mit Bewegungsblöcken für die Video-Generierung. Der Content Guider überträgt die Eingabetextaufforderungen und das Erscheinungsbild-Embedding (z. B. Gesicht (Kleidung optional)) in das Content-Embedding für die Cross-Attention.

Ergebnisse:

DreaMoving kann hochwertige und hochrealistische Videos erzeugen, wobei als Eingabe eine Führungsfolge und eine einfache Inhaltsbeschreibung wie Text und Referenzbild dienen. Konkret zeigt DreaMoving seine Geschicklichkeit bei der Identitätskontrolle durch Gesichtsreferenzbilder, präzise Bewegungsmanipulation durch Posenfolgen sowie umfassende Steuerung des Videoerscheinungsbildes durch spezifizierte Textaufforderungen.