StreamV2V : outil open-source d'échange de visages et de transfert de style vidéo en temps réel 200

StreamV2V : un outil open source de conversion vidéo en temps réel, capable d'effectuer le remplacement de visage et la conversion de style vidéo en temps réel. StreamV2V permet une conversion vidéo-à-vidéo en temps réel sur un GPU RTX 4090, atteignant un débit de traitement de 20 FPS.

Grâce à son fonctionnement en flux, StreamV2V prend en charge les vidéos de longueur illimitée et permet un contrôle vidéo en temps réel via des invites. Pour ce faire, il maintient une bibliothèque de caractéristiques qui conserve les informations des images passées ; lorsqu'une nouvelle image arrive, le modèle utilise les caractéristiques de cette bibliothèque pour aider à générer la sortie, comme s'il regardait dans le passé.

StreamV2V est capable de traiter des entrées en streaming : la vidéo d'entrée peut être une vidéo en streaming en temps réel, par exemple un flux vidéo provenant d'une webcam.

StreamV2V permet de remplacer le visage d'une personne dans une vidéo par celui d'une autre personne, et peut également convertir la vidéo en différents styles artistiques, notamment :

Style d'animation en pâte à modeler : transforme la vidéo en un effet similaire à l'animation en pâte à modeler.

Style d'art griffonné : transforme la vidéo en un effet artistique similaire à un griffonnage dessiné à la main.

Site officiel de StreamV2V : https://jeff-liangf.github.io/projects/streamv2v/

GitHub : https://github.com/Jeff-LiangF/streamv2v