EchoMimic : humain numérique open source d'Alipay 107

EchoMimic est un outil de génération d'animation de portraits piloté par l'audio, développé par Alipay d'Ant Group. Il génère des animations réalistes et naturelles grâce à des points caractéristiques éditables, permettant aux utilisateurs d'ajuster les détails de l'animation selon leurs besoins. Il peut être utilisé pour les présentateurs virtuels, le montage vidéo, etc. Ses résultats sont meilleurs que ceux de SadTalker et MuseTalk, avec des expressions plus riches et des mouvements plus fluides.

EchoMimic peut synchroniser les mouvements labiaux d'un personnage en fonction des caractéristiques faciales du portrait et de l'audio, en combinant les points de repère du visage avec le contenu audio pour générer des vidéos relativement stables et naturelles.

Fonctionnalités d'EchoMimic :

• Animation pilotée par l'audio : permet de générer des animations de portraits à partir de l'audio, comme des vidéos de chant ou de parole.

• Animation pilotée par la pose : permet de générer des animations de portraits à partir de données de pose.

• Animation pilotée par un mélange d'audio et de pose : permet d'utiliser simultanément l'audio et les données de pose pour générer des animations.

• WebUI et GradioUI : fournit une interface graphique facile à utiliser.

• Réglage des repères modifiable : les utilisateurs peuvent sélectionner des repères faciaux spécifiques pour contrôler l'animation, offrant une plus grande flexibilité et personnalisation.

• Prise en charge multilingue (notamment le mandarin et l'anglais) et multi-styles, avec la capacité de gérer des scénarios tels que le chant.

Applications d'EchoMimic :

• Animation d'images de portrait : création de vidéos dynamiques à partir d'images statiques avec une entrée audio, utilisable pour le divertissement, les avatars virtuels et la communication numérique.

• Stabilité et naturel améliorés : en combinant les deux types d'entrée, il surmonte l'instabilité des méthodes pilotées par l'audio et le caractère peu naturel des méthodes pilotées par points clés.

• Animations personnalisables : les utilisateurs peuvent modifier des repères faciaux spécifiques pour obtenir les effets d'animation souhaités.

ComfyUI EchoMimic :https://github.com/smthemex/ComfyUI_EchoMimic

Projet EchoMimic :https://badtobest.github.io/echomimic.html

EchoMimic Github :https://github.com/BadToBest/EchoMimic

Modèle EchoMimic :https://huggingface.co/BadToBest/EchoMimic

EchoMimic est une technologie développée par le département des technologies terminales d'Alipay (Ant Group) permettant de créer des animations de portraits réalistes pilotées par une entrée audio. Elle utilise un réglage de repères modifiable pour obtenir des mouvements et expressions faciaux réalistes, permettant ainsi des animations hautement personnalisables et d'apparence naturelle.