LivePortrait_云技派,专注ai人工智能! 326

LivePortrait utilise la technologie de l'IA pour transformer des photos statiques en vidéos, présentant des expressions faciales et des mouvements réalistes. Le projet open source LivePortrait provient de la société chinoise Kuaishou Technology et de l'Université de Fudan, et utilise des modèles spécialement entraînés pour convertir des animations issues de vidéos ou de webcams en animations, et pour transférer les mouvements sur des images ou des photos.

LivePortrait exploite un cadre basé sur des points clés implicites pour créer des animations vidéo réalistes à partir d'une seule image source. Cette approche équilibre efficacité computationnelle et contrôlabilité, ce qui en fait un outil pratique pour diverses applications.

La version Comfyui de LivePortrait : https://github.com/shadowcz007/comfyui-liveportrait

Fonctionnalités de LivePortrait :

• Convertir des photos statiques en vidéos animées ;

• Générer des expressions faciales et des mouvements réalistes ;

• Prendre en charge la génération d'animations dans différents styles ;

• Permettre aux utilisateurs de télécharger des vidéos et de synchroniser les mouvements faciaux.

• Fournir des outils personnalisés de communication vidéo pour améliorer l'efficacité de la communication ;

Comment LivePortrait génère du contenu IA

Le processus d'animation de LivePortrait comprend deux phases d'entraînement :

Première phase : entraînement du modèle de base

Lors de cette première phase, le modèle de base est entraîné à partir de zéro. Cette phase implique l'optimisation de l'extracteur d'apparence (F), de l'extracteur de mouvement (M), du module de déformation (W) et du décodeur (G). Ces composants travaillent ensemble pour extraire et synthétiser respectivement l'apparence et le mouvement à partir de l'image source et de la vidéo de pilotage.

Deuxième phase : entraînement des modules de stitching et de redirection

Lors de la deuxième phase, les composants précédemment entraînés sont gelés et l'accent est mis sur l'optimisation des modules de stitching et de redirection. Ces modules améliorent la qualité de l'animation en offrant un contrôle plus fin sur des caractéristiques faciales spécifiques telles que les yeux et les lèvres, permettant ainsi des animations plus détaillées et plus expressives.

Caractéristiques principales de LivePortrait

Efficacité et rapidité : LivePortrait atteint une vitesse de génération impressionnante, atteignant 12,8 millisecondes par image sur un GPU RTX 4090 avec PyTorch. Cette efficacité le rend adapté aux applications en temps réel.

Animation de haute qualité : en étendant les données d'entraînement à environ 69 millions d'images de haute qualité et en adoptant une stratégie d'entraînement hybride image-vidéo, LivePortrait garantit une qualité d'animation et une capacité de généralisation supérieures.

Contrôlabilité avancée : les modules de stitching et de redirection permettent un contrôle précis des caractéristiques faciales, pour des animations détaillées. Les utilisateurs peuvent contrôler l'amplitude des mouvements des yeux et des lèvres, renforçant ainsi le réalisme des vidéos générées.

Polyvalence : LivePortrait prend en charge de nombreux styles tels que le réalisme, la peinture à l'huile, la sculpture, le rendu 3D. Cette polyvalence le rend adapté à un large éventail d'applications, de la création de contenu créatif à la production vidéo professionnelle.

Public cible de LivePortrait

Créateurs de contenu et influenceurs : LivePortrait permet aux créateurs de contenu et aux influenceurs de générer des vidéos animées de haute qualité à partir d'une seule image, enrichissant ainsi leur contenu grâce à des animations réalistes.

Cinéastes et animateurs : les cinéastes et animateurs professionnels peuvent utiliser LivePortrait pour créer efficacement des animations de personnages réalistes, économisant ainsi du temps et des ressources dans le processus de production.

Marketeurs et publicitaires : les marketeurs et publicitaires peuvent tirer parti de LivePortrait pour créer des publicités vidéo dynamiques et captivantes, attirant l'attention des spectateurs grâce à des animations réalistes.

Éducateurs et développeurs d'e-learning : les contenus éducatifs peuvent devenir plus interactifs et engageants grâce aux portraits animés, rendant les supports d'apprentissage plus attrayants pour les élèves.

Développeurs de jeux : les développeurs de jeux peuvent utiliser LivePortrait pour créer des animations de personnages réalistes, améliorant l'expérience globale de jeu grâce à des expressions et des mouvements réalistes.

La version Comfyui de LivePortrait :

Liveportrait comfyui : https://github.com/shadowcz007/comfyui-liveportrait