KeySync : un outil de lip-sync qui résout les fuites d'expressions et les occlusions 70

Qu'est-ce que KeySync ?

KeySync est un outil de synchronisation labiale récemment lancé, dont l'avantage principal réside dans la résolution des problèmes de fuite d'expressions et d'occlusion. Il garantit que les mouvements des lèvres ne sont pas affectés par les expressions des personnages dans la vidéo originale, et même si la bouche est obstruée, cela n'affecte pas la qualité de la synchronisation.

KeySync est capable de traiter des vidéos haute résolution et d'aligner précisément les mouvements labiaux générés avec le nouvel audio, évitant ainsi efficacement les problèmes de décalage entre le son et l'image. Grâce à son architecture en deux étapes, il assure une bonne cohérence temporelle, permettant des transitions naturelles et fluides des mouvements de la bouche.

De plus, KeySync permet de contrôler le processus de génération de l'animation en ajustant des paramètres, par exemple en spécifiant la position des objets occlus, afin d'obtenir des effets personnalisés plus flexibles.

Fonctionnalités de KeySync

• Synchronisation labiale haute résolution : génère des mouvements des lèvres de haute qualité, naturels et fluides, adaptés aux vidéos haute résolution.

• Traitement sans fuite : évite que les autres expressions de la vidéo source n'interfèrent avec les mouvements des lèvres, garantissant que les mouvements correspondent uniquement à l'audio.

• Gestion de l'occlusion : traite efficacement les problèmes d'occlusion du visage grâce à une stratégie de masquage.

• Cohérence temporelle : assure la continuité temporelle des mouvements des lèvres, évitant les transitions peu naturelles.

• Capacité de synchronisation croisée : prend en charge la synchronisation labiale entre différentes vidéos et pistes audio.

Principe technique de KeySync

KeySync adopte une architecture en deux étapes pour générer des vidéos à synchronisation labiale :

• Étape de génération des images clés : sélectionne des images clés à partir de la vidéo d'entrée et génère, via un modèle de diffusion, des mouvements des lèvres correspondant à l'audio fourni.

• Étape d'interpolation : réalise une interpolation entre les images clés pour générer les images intermédiaires et construire la vidéo complète avec synchronisation labiale.

Par ailleurs, KeySync met en œuvre une nouvelle stratégie de masquage dédiée pour résoudre les problèmes de fuite d'expressions et d'occlusion du visage. Cette stratégie utilise la détection de points de repère faciaux pour délimiter la région des lèvres, puis étend la zone masquée afin de couvrir le menton et une partie des joues, tout en excluant l'influence des éléments occlus.

Cas d'utilisation de KeySync

• Doublage automatisé : utilisé pour le sous-titrage et la traduction linguistique dans la production audiovisuelle, en générant automatiquement les mouvements des lèvres adaptés au nouveau doublage.

• Réalité virtuelle (VR) et réalité augmentée (AR) : génère les mouvements labiaux des personnages virtuels ou en réalité augmentée, renforçant l'immersion.

• Visioconférence : améliore les problèmes de synchronisation labiale en cas de latence réseau, rendant la communication à distance plus naturelle.

• Production d'animation : génère rapidement l'animation labiale des personnages, améliorant l'efficacité de production.

• Localisation de contenu multilingue : génère des mouvements des lèvres adaptés aux doublages en différentes langues, améliorant la qualité de la localisation.

Comment utiliser KeySync

1. Accéder à la page de démonstration : ouvrez le lien https://huggingface.co/spaces/toninio19/keysync-demo

2. Téléverser les fichiers : repérez sur la page la zone dédiée au téléversement des fichiers vidéo et audio, puis importez respectivement votre vidéo (au format .mp4) et votre fichier audio (au format .wav).

3. Créer la vidéo synchronisée : une fois le téléversement terminé, cliquez sur le bouton correspondant (le bouton exact peut varier selon la conception de la page) ; le système commencera alors à traiter les fichiers téléversés et générera la vidéo synchronisée.

4. Consulter le résultat : une fois le traitement terminé, vous pouvez visualiser la vidéo synchronisée directement sur la page.

Liens du projet

• Page du projet : https://antonibigata.github.io/KeySync/

• Dépôt du modèle : https://huggingface.co/toninio19/keysync

• Démonstration en ligne : https://huggingface.co/spaces/toninio19/keysync-demo

• Lien de l'article : https://arxiv.org/abs/2505.00497