FantasyTalking : l'outil d'Alibaba pour générer des portraits parlants réalistes à partir d'une seule image statique 57

Qu'est-ce que FantasyTalking ?

FantasyTalking est un outil de génération d'animation de personnages virtuels développé par Alibaba, capable de générer des portraits parlants dynamiques et réalistes à partir d'un seul portrait statique. Il adopte une stratégie d'alignement audio-visuel en deux étapes, garantissant une synchronisation précise des mouvements des lèvres avec la parole, tout en générant des animations naturelles et diversifiées grâce à un module d'attention croisée axé sur le visage et un module de modulation de l'intensité du mouvement. Appliqué aux jeux, au cinéma et à la réalité virtuelle, il permet de générer rapidement des animations de personnages virtuels de haute qualité.

Principe technique de FantasyTalking

• Stratégie d'alignement audio-visuel en deux étapes : la première étape adopte un schéma d'entraînement au niveau des segments, alignant la dynamique audio sur l'ensemble de la scène, y compris le portrait de référence, les objets contextuels et l'arrière-plan, afin d'établir un mouvement global cohérent ; la deuxième étape affine les mouvements des lèvres au niveau des images grâce à un masque de suivi des lèvres, garantissant une synchronisation précise avec le signal audio.

• Module d'attention croisée axé sur le visage : remplace le réseau de référence couramment utilisé, préservant efficacement la cohérence du visage dans la vidéo.

• Module de modulation de l'intensité du mouvement : contrôle explicitement l'intensité des expressions et des mouvements corporels, permettant au portrait de produire non seulement des mouvements des lèvres, mais aussi des animations plus naturelles et diversifiées.

Fonctionnalités principales de FantasyTalking

• Synchronisation labiale : capable d'identifier et de synchroniser avec précision les mouvements des lèvres du personnage virtuel avec la voix d'entrée, garantissant une correspondance parfaite entre les mouvements des lèvres et le contenu parlé.

• Génération de mouvements faciaux : génère de riches mouvements faciaux tels que des clignements d'yeux, des froncements de sourcils et des sourires en fonction du contenu vocal et des informations émotionnelles.

• Génération de mouvements corporels complets : génère des mouvements corporels tels que la marche, la course et le saut selon les besoins de la scène et de l'intrigue.

Avantages clés de FantasyTalking

• Hautement réaliste : grâce à des algorithmes avancés d'intelligence artificielle et à des techniques d'apprentissage profond, les animations de personnages virtuels générées sont indiscernables d'êtres humains réels en termes d'apparence, de mouvement et d'expression.

• Flexible et facile à utiliser : offre une interface utilisateur simple et intuitive ainsi que de riches interfaces API, prenant en charge plusieurs formats d'entrée et de sortie, facilitant ainsi la prise en main et l'intégration dans les projets des utilisateurs.

• Performant et stable : grâce à des algorithmes optimisés et à une architecture de calcul efficace, il permet de générer des animations de personnages virtuels de haute qualité en un temps réduit, tout en garantissant la stabilité et la fiabilité du système.

Scénarios d'application de FantasyTalking

• Développement de jeux : peut être utilisé pour générer des animations de dialogue, des animations de combat, etc. des personnages du jeu, améliorant les effets visuels et l'interactivité du jeu.

• Production cinématographique et télévisuelle : aide les équipes de production à générer rapidement des animations de performance de personnages virtuels, des animations d'effets spéciaux, etc. de haute qualité, réduisant les coûts de production et les délais.

• Réalité virtuelle et réalité augmentée : génère des animations interactives, des animations de guidage, etc. de personnages virtuels pour les applications de réalité virtuelle et de réalité augmentée, améliorant l'immersion et l'expérience utilisateur.

Site officiel du projet :https://fantasy-amap.github.io/fantasy-talking/

Dépôt Github :https://github.com/Fantasy-AMAP/fantasy-talking

Article arXiv :https://arxiv.org/pdf/2504.04842