Alibaba EMO : créez des vidéos parlées ou chantées à partir d'une photo et d'un audio 280

Alibaba Group Institute of Intelligent Computing présente en grande pompe EMO : Emote Portrait Alive, une IA révolutionnaire qui permet de générer des portraits expressifs en vidéo à partir d'une simple image et d'un fichier audio ! La durée de la vidéo générée correspond à celle de votre audio, produisant des vidéos de conversation et de chant d'un réalisme saisissant. Toutes les voix, toutes les vitesses d'élocution, toutes les images sont prises en charge...

Contrairement aux méthodes traditionnelles, EMO adopte une approche directe de l'audio vers la vidéo, contournant le besoin de modèles 3D intermédiaires ou de repères faciaux. Cela garantit des transitions fluides entre les images et une préservation cohérente de l'identité tout au long de la vidéo, produisant ainsi des animations très expressives et réalistes, ce qui se traduit par des transitions plus douces et des expressions plus naturelles.

EMO excelle même dans la création de vidéos de chant dans tous les styles ! Imaginez la possibilité de réaliser un clip vidéo à partir d'une seule image de votre artiste préféré !

Document de recherche EMO :https://arxiv.org/pdf/2402.17485.pdf

Adresse open source EMO :https://humanaigc.github.io/emote-portrait-alive/

Principales fonctionnalités d'EMO :

1. Génération vidéo de portraits pilotée par l'audio : en exploitant une seule image de référence et une entrée audio (comme de la parole ou du chant), EMO est capable de générer des vidéos de portraits virtuels présentant des variations d'expressions et des mouvements de tête. Autrement dit, les utilisateurs peuvent créer des vidéos dynamiques de personnes qui parlent ou qui chantent en fournissant une image statique et un fichier audio correspondant. Quelles que soient les expressions ou les mouvements de tête du personnage dans la vidéo, ses caractéristiques fondamentales proviennent de cette image de référence.

2. Rendu dynamique riche en expressions et prise en charge des postures de tête : EMO met particulièrement l'accent sur la génération de mouvements du visage naturels et expressifs dans la vidéo. Il peut capturer des expressions subtiles et des mouvements de tête, créant ainsi des vidéos de conversation et de chant d'un réalisme saisissant, générant des animations faciales naturelles et vivantes, ce qui accroît le dynamisme et l'authenticité de la vidéo.

3. Prise en charge de plusieurs langues et styles de portraits : cette technologie ne se limite pas à une langue ou à un style musical particulier. Elle est capable de traiter des entrées audio dans plusieurs langues et prend en charge une grande diversité de styles de portraits, notamment des personnages historiques, des œuvres picturales, des modèles 3D et du contenu généré par IA.

4. Synchronisation rapide avec le rythme : EMO est capable de traiter des audio au rythme rapide, tels que des paroles ou une élocution rapides, garantissant que les mouvements du portrait virtuel restent synchronisés avec le rythme de l'audio.

5. Transfert d'expressions entre acteurs : EMO permet le transfert d'expressions entre différents acteurs, permettant à l'avatar virtuel d'un acteur d'imiter la performance spécifique d'un autre acteur ou d'une autre voix, ce qui élargit la diversité et les cas d'utilisation du rendu des personnages.

Scénarios d'application d'EMO :

• Créer un doublage instantané

• Créer des personnages réalistes et expressifs pour les films et les jeux vidéo

• Développer des supports pédagogiques interactifs et captivants

• Donner aux assistants virtuels une apparence et des sensations plus humaines

• Rendre les visioconférences plus attrayantes et personnalisées

• Produire des vidéos marketing et publicitaires plus captivantes et mémorables

Les résultats expérimentaux montrent qu'EMO est non seulement capable de produire des vidéos de parole convaincantes, mais aussi des vidéos de chant dans des styles variés, surpassant nettement les méthodes de pointe existantes en termes d'expressivité et de réalisme. Il établit ainsi une nouvelle norme pour la génération vidéo, ce qui est d'une grande importance pour l'avenir.