Follow-Your-Emoji : un projet d'animation de portraits 238

Follow-Your-Emoji, développé conjointement par HKUST, Tencent Hunyuan et Tsinghua, est basé sur un modèle de diffusion. Il applique l'expression ou le mouvement cible sur un portrait de référence tout en préservant l'identité du portrait, la cohérence des mouvements et le réalisme. Il génère de nouvelles animations faciales en extrayant les caractéristiques faciales, en particulier les détails du visage et les dynamiques des pupilles, des personnages d'une vidéo.

Il vous suffit de fournir une photo, et Follow-Your-Emoji la transformera en une animation faciale vivante, tout en capturant les variations subtiles d'expression.

Follow-Your-Emoji permet d'utiliser une seule vidéo de pilotage ou séquence de mouvements pour animer plusieurs portraits de référence différents. Chaque portrait de référence affichera les mêmes mouvements et changements d'expression selon la même séquence de mouvements.Il est également possible d'utiliser un seul portrait de référence combiné à plusieurs vidéos générées différentes pour produire plusieurs animations. Chaque séquence de mouvements fera en sorte que le même portrait de référence présente des mouvements et des expressions différents.

Caractéristiques et fonctionnalités de Follow-Your-Emoji :

• Préservation de l'identité : pendant le processus de génération d'animation, les caractéristiques d'identité du portrait de référence ne sont pas perdues, garantissant que votre image reste cohérente.

• Expressions riches : génère diverses expressions exagérées et subtiles, telles que des mouvements amples des pupilles, qu'il s'agisse de dynamiques oculaires subtiles ou de changements d'expression prononcés.

• Diversité de styles : prend en charge l'animation de portraits dans plusieurs styles, qu'il s'agisse de cartoons, de personnages réalistes, de sculptures ou de styles animaliers, etc.

• Stabilité et durabilité de l'animation : utilise une stratégie de génération progressive pour garantir la stabilité et la cohérence des animations de longue durée.

La principale difficulté de cette technologie réside dans le fait de préserver en permanence les caractéristiques d'identité du portrait de référence tout au long de l'animation, tout en transmettant l'expression cible, et en garantissant la cohérence temporelle et le réalisme.

Pour résoudre ce problème, Follow-Your-Emoji adopte deux technologies clés : la première consiste à utiliser un nouveau type de signal de mouvement explicite — des points clés sensibles à l'expression — pour guider le processus d'animation. Ces points clés garantissent un alignement précis entre le portrait de référence et le mouvement cible pendant l'inférence, et renforcent la capacité à exprimer des expressions exagérées (par exemple, les mouvements amples des pupilles), tout en évitant la fuite d'informations d'identité. La seconde consiste à proposer une fonction de perte faciale à granularité fine, qui utilise des masques d'expression et de visage pour améliorer la capacité du modèle à reproduire les changements d'expression subtils et l'apparence du portrait de référence.

Follow-Your-Emoji est idéal pour les professionnels et les passionnés ayant besoin de réaliser des animations de portraits, notamment les animateurs, les créateurs de vidéos, les développeurs de jeux, etc.

Adresse de l'article : https://arxiv.org/html/2406.01900v1

Adresse du projet Follow-Your-Emoji : https://follow-your-emoji.github.io/