MimicMotion: Projekt zur Erzeugung von Bewegungs-Videos 125

Von Tencent und der Shanghai Jiao Tong University entwickelt, kann MimicMotion qualitativ hochwertige Videogenerierungs-Frameworks mit beliebiger Länge und unter beliebiger Bewegungsanleitung erstellen. Es kann detailreiche, realistische Videos menschlicher Bewegungen sowie Videoinhalte beliebiger Länge erzeugen und ermöglicht eine präzise Steuerung der Videoinhalte, einschließlich Bewegung, Pose und Videostil.

Ähnlich wie der Tongyi Dance King von Alibaba, jedoch mit deutlich besseren Ergebnissen. MimicMotion unterstützt Gesichtszüge und Lippensynchronisation und eignet sich somit nicht nur für Tanzvideos, sondern auch für digitale Menschen.

In den letzten Jahren hat die generative künstliche Intelligenz im Bereich der Bildgenerierung bedeutende Fortschritte erzielt und eine Vielzahl von Anwendungen hervorgebracht. Die Videogenerierung steht jedoch weiterhin vor erheblichen Herausforderungen in Bezug auf Kontrollierbarkeit, Videolänge und Detailreichtum, was den Einsatz und die Verbreitung dieser Technologie behindert. In dieser Arbeit stellen wir ein kontrollierbares Videogenerierungs-Framework namens MimicMotion vor, das unter beliebiger Bewegungsanleitung qualitativ hochwertige Videos beliebiger Länge erzeugen kann. Verglichen mit früheren Methoden zeichnet sich unser Ansatz

durch mehrere Highlights aus.

Erstens wird durch eine konfidenzbewusste Posesteuerung zeitliche Glattheit erreicht, wodurch die Kohärenz und Flüssigkeit des Modells durch umfangreiche Trainingsdaten verbessert werden kann.

Zweitens verstärkt ein auf Posenzuverlässigkeit basierender regionaler Verlust die signifikante Reduzierung von Bildverzerrungen und kann Verzerrungen sowie Deformationen in den erzeugten Bildern deutlich verringern.

Drittens wird zur Erzeugung flüssiger langer Videos eine progressive latente Fusionsstrategie vorgeschlagen. Auf diese Weise kann die Generierung von Videos beliebiger Länge bei akzeptablem Rechenressourcenverbrauch realisiert werden.

Zahlreiche Experimente und Nutzerstudien zeigen, dass MimicMotion in mehreren Aspekten deutliche Verbesserungen gegenüber der Methode des Alibaba Tongyi Dance King aufweist.

MimicMotion Code:https://github.com/Tencent/MimicMotion

MimicMotion ComfyUI-Version:https://github.com/aiFSH/ComfyUI-MimicMotion