EchoMimic: Open-Source-Digital-Human von Alipay 102

EchoMimic ist ein von Ant Group Alipay entwickeltes Tool zur Erzeugung audio-gesteuerter Portrait-Animationen tool, das mithilfe editierbarer Merkmalspunkt-Bedingungen realistische und natürliche Animationen erzeugt. Benutzer können die Animationsdetails nach ihren eigenen Anforderungen anpassen. Es kann unter anderem für virtuelle Moderatoren und video-Bearbeitung verwendet werden. Die Ergebnisse sind besser als bei SadTalker und MuseTalk, mit ausdrucksstärkeren Emotionen und flüssigeren Bewegungen.

EchoMimic kann basierend auf den Gesichtszügen einer Person und dem Audio die Lippensynchronisation durchführen und kombiniert Gesichtsmarkierungspunkte mit dem Audioinhalt, um relativ stabile und natürliche Videos zu erzeugen.

Funktionen von EchoMimic:

• Audio-gesteuerte Animation: Es können Animationen von Personenporträts auf Basis von Audio erzeugt werden, z. B. Gesangs- oder Sprechvideos.

• Pose-gesteuerte Animation: Es können Animationen von Personenporträts auf Basis von Posen-Daten erzeugt werden.

• Audio-Pose-Hybrid gesteuerte Animation: Audio- und Posen-Daten können gleichzeitig zur Erzeugung von Animationen verwendet werden.

• WebUI und GradioUI: Bietet eine grafische Oberfläche für eine einfache Bedienung.

• Editierbare Landmarken-Steuerung: Benutzer können bestimmte Gesichtslandmarken auswählen, um die Animation zu steuern, was mehr Flexibilität und Anpassungsmöglichkeiten bietet.

• Unterstützt mehrere Sprachen (einschließlich Mandarin-Chinesisch und Englisch) sowie mehrere Stile und ist auch für Szenarien wie Gesang geeignet.

Anwendungen von EchoMimic:

• Portraitbild-Animation: Erstellt aus statischen Bildern dynamische Videos auf Basis von Audioeingaben, die für Unterhaltung, virtuelle Avatare und digitale Kommunikation verwendet werden können.

• Verbesserte Stabilität und Natürlichkeit: Durch die Kombination zweier Eingaben werden die Instabilität audio-gesteuerter Methoden und die Unnatürlichkeit von Schlüsselpunkt-gesteuerten Methoden überwunden.

• Anpassbare Animation: Benutzer können bestimmte Gesichtslandmarken bearbeiten, um die gewünschten Animationseffekte zu erzielen.

ComfyUI EchoMimic:https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimic Projekt:https://badtobest.github.io/echomimic.html

EchoMimic Github:https://github.com/BadToBest/EchoMimic

EchoMimic Modell:https://huggingface.co/BadToBest/EchoMimic

EchoMimic ist eine von der Terminal Technology Abteilung von Ant Group Alipay entwickelte Technologie zur Erzeugung realistischer Portrait-Animationen, die durch Audioeingaben gesteuert wird. Sie verwendet editierbare Landmarken-Steuerung, um realistische Gesichtsbewegungen und -ausdrücke zu erzielen, und ermöglicht so hochgradig anpassbare und natürlich wirkende Animationen.