Emote Portrait Alive : des images statiques prennent vie dans des vidéos chantantes 131

Emote Portrait Alive est l'EMO publié par Alibaba, un cadre de génération de vidéos de portraits piloté par l'IA. En saisissant une seule image de référence et un fichier audio, comme de la parole ou du chant, Emote Portrait Alive peut générer des vidéos de portraits parlants dotées d'expressions faciales riches et de diverses poses de tête, permettant aux personnages présents sur les photos d'ouvrir naturellement la bouche pour parler ou chanter en fonction du contenu audio, avec des expressions faciales et des postures de tête très réalistes. De plus, nous pouvons générer des vidéos d'une durée arbitraire en fonction de la longueur de la vidéo d'entrée.

Fonctionnalités et caractéristiques d'Emote Portrait Alive :

• Génération de vidéos pilotée par l'audio : EMO est capable de générer directement des vidéos en fonction de l'audio saisi (comme de la parole ou du chant), sans dépendre de clips vidéo préenregistrés ou de modèles faciaux 3D.

• Grande expressivité et réalisme : les vidéos générées présentent un haut niveau d'expressivité, capable de capturer et de reproduire les nuances subtiles des expressions faciales humaines, y compris les micro-expressions les plus délicates, ainsi que les mouvements de tête synchronisés avec le rythme de l'audio.

• Transitions fluides entre les images : assure des transitions naturelles et fluides entre les images de la vidéo, évitant les problèmes de distorsion faciale ou de saccades entre les images, améliorant ainsi la qualité globale de la vidéo.

• Préservation de l'identité : grâce au module FrameEncoding, EMO maintient la cohérence de l'identité du personnage tout au long du processus de génération vidéo, garantissant que l'apparence du personnage correspond à l'image de référence saisie.

• Mécanisme de contrôle stable : adoption de mécanismes de contrôle stables tels qu'un contrôleur de vitesse et un contrôleur de zone faciale pour renforcer la stabilité pendant la génération vidéo et éviter des problèmes tels que l'effondrement de la vidéo.

• Durée vidéo flexible : possibilité de générer des vidéos d'une durée arbitraire en fonction de la longueur de l'audio saisi, offrant aux utilisateurs un espace de création flexible.

• Multilingue et multi-styles : le jeu de données d'entraînement couvre plusieurs langues et styles, notamment le chinois et l'anglais, ainsi que les styles réaliste, anime et 3D, permettant à EMO de s'adapter à différentes cultures et styles artistiques.

Scénarios d'application d'Emote Portrait Alive :

• Génération de vidéos de chant : en saisissant une photo de portrait d'une personne et un fichier audio de chant, EMO peut générer une vidéo de chant expressive et synchronisée avec l'audio.

• Génération de vidéos parlantes : ne se limite pas au chant, mais peut également traiter de l'audio de parole pour générer des vidéos parlantes synchronisées avec la voix.

• Prise en charge multilingue : prend en charge les entrées audio dans plusieurs langues, capable de générer des vidéos de portraits dans différentes langues.

• Applications multi-styles : permet de combiner des images de portraits de différents styles (comme l'anime, des modèles 3D, etc.) avec de l'audio pour générer du contenu vidéo dans un style spécifique.

Emote Portrait Alive ne se limite pas au traitement des entrées audio de chant, mais peut également accueillir des fichiers audio vocaux dans diverses langues. De plus, Emote Portrait Alive est capable de transformer de vieilles photos, des peintures, ainsi que des modèles 3D et du contenu généré par IA en vidéos, en leur insufflant des mouvements réalistes et un sentiment d'authenticité.