Magic Animate_云技派,专注ai人工智能! 112

Magic Animate ist ein bahnbrechendes Open-Source-Projekt, das die Erstellung von Animationen vereinfacht und es Ihnen ermöglicht, aus einem einzelnen Bild und einem dynamischen Video animierte Videos zu erstellen. Einfach ausgedrückt: Gegeben ein Referenzbild und eine Posenfolge (Video), kann es ein animiertes Video erzeugen, das den Posenbewegungen folgt und die Identitätsmerkmale des Referenzbildes beibehält. Es wurde vom Show Lab der National University of Singapore und ByteDance entwickelt.

Magic Animate bietet die höchste Konsistenz unter allen Tanzvideo-Lösungen, jedoch können bei Magic Animate im Gesicht- und Handbereich einige Verzerrungen auftreten. Die Standardkonfiguration kann zu einem Stilwechsel von Anime zu Realismus führen, insbesondere bei den Gesichtern im Video. Die Anwendung des Anime-Stils auf das standardmäßige DensePose-gesteuerte Video beeinflusst ebenfalls die Körperproportionen.

Offizielle Website von Magic Animate:www.magicanimate.org

Kernfunktionen von MagicAnimate:

• Animationen aus einem einzelnen Bild und dynamischen Videos erstellen

• Zeitliche Konsistenz beibehalten

• Referenzbild erhalten

• Animations-Treue verbessern

• Integration mit T2I-Diffusionsmodellen wie DALLE3

• Identitätsübergreifende Animationen und Animationen aus unbekannten Bereichen

• Bildanimation mit Textaufforderungen

• Hohe Konsistenz bei Tanzvideo-Lösungen

Wie verwendet man MagicAnimate?

Um Magic Animate zu verwenden, müssen Sie die vortrainierten Basismodelle StableDiffusion V1.5 und MSE-finetuned VAE herunterladen. Anschließend können Sie die erforderlichen Abhängigkeiten installieren und die conda-Umgebung aktivieren. Laden Sie dann ein statisches Personenfoto hoch, laden Sie das Demo-Video der Bewegung hoch, die Sie erzeugen möchten, und passen Sie die Parameter an. Danach können Sie die Online-Demo auf Huggingface oder Replicate ausprobieren. Alternativ können Sie die Replicate API auch programmatisch verwenden, um animierte Videos zu erzeugen.