PortraitGen : outil multimodal pour l'édition de portraits vidéo 227

PortraitGen est un outil d'édition de vidéo de portraits IA innovant lancé par l'Université des sciences et technologies de Chine. Il permet d'améliorer les vidéos de portraits en 2D vers un effet 4D. Il prend en charge l'édition multimodale et peut modifier les vêtements, les expressions et l'environnement lumineux des personnages dans la vidéo en seulement 30 minutes. PortraitGen dispose également d'un module d'édition sensible au visage, améliorant la fluidité de l'édition des expressions. Les utilisateurs peuvent facilement obtenir un effet de modification du personnage par texte en saisissant une vidéo et une image de référence.

Caractéristiques principales de PortraitGen :

• Édition rapide : PortraitGen peut terminer l'édition vidéo en seulement 30 minutes, et le portrait 3D édité prend en charge une lecture fluide à 100 images par seconde.

• Saisie multimodale : les utilisateurs peuvent effectuer des modifications via du texte, des images ou des modèles 3D, prenant en charge plusieurs méthodes d'édition, notamment l'édition stylisée pilotée par texte et celle pilotée par image.

• Module d'édition sensible au visage : ce module vise à améliorer la qualité des expressions et à préserver les traits du visage personnalisés, rendant les effets d'édition plus naturels et plus fins.

• Ajustement de l'éclairage : les utilisateurs peuvent ajuster l'éclairage des images vidéo en fonction de la description d'éclairage fournie, rendant l'ensemble de la vidéo plus harmonieuse et plus esthétique.

• Avantages techniques : PortraitGen adopte la technologie de texture gaussienne neuronale, qui diffère de la méthode traditionnelle des coefficients harmoniques sphériques. Elle peut stocker des caractéristiques apprenables pour chaque point gaussien, permettant ainsi des effets d'édition plus riches.

• Fréquence d'images élevée : la vidéo éditée prend en charge une lecture fluide à 100 images par seconde.
  

• Effet de changement de vêtements : réalisé grâce au transfert de style et à l'essayage virtuel.
  

Détails techniques de PortraitGen :

• Coefficients SMPL-X : utilisés pour le suivi de vidéos monoculaires.

• Texture gaussienne neuronale : construction d'un champ de caractéristiques gaussiennes 3D.

• Édition sensible au visage : améliore la qualité des expressions et préserve la structure faciale personnalisée.

• Transfert de style : utilisé pour l'édition pilotée par image.

• InstructPix2Pix : utilisé pour l'édition pilotée par texte.

Scénarios d'utilisation de PortraitGen :

• Production cinématographique et télévisuelle : génération rapide de vidéos de portraits de haute qualité.

• Secteur publicitaire : changement flexible du style vidéo.

• Réseaux sociaux : création personnalisée de contenu vidéo.

• Éducation et formation : production de vidéos pédagogiques.

• Essayage virtuel : application dans l'industrie de la mode.

PortraitGen est un outil avancé d'édition vidéo de portraits IA développé par l'équipe de recherche de l'Université des sciences et technologies de Chine. Il a été publié via Arxiv le 23 septembre 2024. PortraitGen modifie l'apparence des personnages dans la vidéo grâce à des instructions textuelles ou des images de référence, permettant des fonctions d'édition multimodale incluant, sans s'y limiter, le changement de vêtements, l'ajustement des effets d'éclairage et la modification des caractéristiques des personnages.

Comment obtenir PortraitGen :

Adresse du projet : https://ustc3dv.github.io/PortraitGen

Adresse Github : https://github.com/USTC3DV/PortraitGen-code

Adresse de l'article : https://arxiv.org/abs/2409.13591