DreamActor-M1: ByteDance-Framework zum Animieren eines Fotos mit einem Bewegungsvideo 114

Was ist DreamActor-M1?

DreamActor-M1 ist ein auf Diffusion Transformer (DiT) basierendes Human-Image-Animations-Framework von ByteDance, ähnlich wie Runways Act one. Ausgehend von einem Referenzbild kann DreamActor-M1 menschliche Verhaltensweisen imitieren, die aus einem Video erfasst wurden, und hochausdrucksstarke sowie realistische Videos in mehreren Maßstäben (von Porträt bis hin zu Ganzkörperanimationen) erstellen. Es löst zudem die Probleme anderer Frameworks, bei denen Gesichtsausdrücke und Bewegungen nicht fein genug umgesetzt werden und bei längeren Videos Details nicht zusammenpassen, was zu Unstimmigkeiten führt. Es unterstützt verschiedene Bewegungsstile und übertrifft dabei Act-One, Animate Everyone und SkyReels-A1.

Kernfunktionen von DreamActor-M1

• Statische Fotos in dynamische Bilder umwandeln: Durch die Kombination eines statischen Fotos mit einem Referenz-Bewegungsvideo wird die Person im Foto nahtlos in die Videoszene eingefügt, wodurch dynamische Bilder mit feinen Gesichtsausdrücken, natürlichen Bewegungen und hochauflösender Bildqualität erzeugt werden.

• Präzise Steuerung: Durch den Einsatz eines hybriden Steuerungsmechanismus, der implizite Gesichtsdarstellungen, 3D-Kopfspären und 3D-Körperskelett-Steuersignale kombiniert, wird eine präzise Kontrolle über Gesichtsausdrücke und Körperbewegungen der Figur ermöglicht.

• Flexible Bewegungsübertragung: Unterstützt die Übertragung nur bestimmter Bewegungen, beispielsweise von Gesichtsausdrücken und Kopfbewegungen.

• Unterstützung für Gesichtsanimations: Erweiterbar auf audiodaten-gesteuerte Gesichtsanimationen, die mehrsprachige Lippensynchronisation ermöglichen.

• Formbewusste Animation: Durch Techniken zur Anpassung der Skelettlängen wird eine formadaptive Animationserzeugung ermöglicht.

• Unterstützung vielfältiger Stile: Robustheit gegenüber verschiedenen Charakteren und Bewegungsstilen.

• Unterstützung mehrerer Perspektiven: Kann Animationsergebnisse bei unterschiedlichen Kopfhaltungen erzeugen.

Technische Prinzipien von DreamActor-M1

• Hybrider Steuerungsmechanismus: Kombiniert Steuersignale wie implizite Gesichtsdarstellungen, 3D-Kopfspären und 3D-Körperskelette, um sicherzustellen, dass die erzeugten Animationen in den Details hochrealistisch sind und gleichzeitig Gesamtkohärenz und -flüssigkeit gewahrt bleiben.

• Multi-Skalen-Anpassungsfähigkeit: Durch eine schrittweise Trainingsstrategie können verschiedene Körperhaltungen und Bilder unterschiedlicher Auflösungen verarbeitet werden, wodurch die Umwandlung vom Porträt bis zur Ganzkörperansicht unterstützt wird.

• Langfristige zeitliche Konsistenz: Durch die Integration der Bewegungsmuster und visuellen Referenzen aufeinanderfolgender Frames wird die zeitliche Konsistenz in nicht beobachteten Bereichen bei komplexen Bewegungen sichergestellt.

• Gesichtsanimations- und Sprachunterstützung: Unterstützt audiodaten-gesteuerte Gesichtsanimationen, die mehrsprachige Lippensynchronisation ermöglichen.

Anwendungsszenarien von DreamActor-M1

• Film- und Fernsehproduktion: Zur Erzeugung von Animationen virtueller Charaktere.

• Werbebranche: Erstellung dynamischer Personenwerbung.

• Videospiele: Erzeugung von Charakteranimationen in Spielen.

• Virtuelle Streamer: Bietet natürlichere und realistischere Animationseffekte für virtuelle Streamer.

• Bildung und Schulung: Erstellung dynamischer Lehrvideos, in denen Figuren verschiedene Bewegungen und Gesichtsausdrücke ausführen können.

• Soziale Medien: Erzeugung personalisierter dynamischer Avatare oder Kurzvideos.

Projektlinks

Offizielle Projektwebsite: https://grisoon.github.io/DreamActor-M1/

arXiv-Technische Abhandlung: https://arxiv.org/pdf/2504.01724