Assistant scénario▸ 
Apps AI 
Actualités AI 
Motionshop : remplace les personnages d'une vidéo par des avatars 3D
Motionshop : remplace les personnages d'une vidéo par des avatars 3DIntroduction
Motionshop, un outil d'animation de personnages IA, grâce à des technologies avancées de vidéo et de rendu 3D, Motionshop est capable de détecter automatiquement les personnages présents dans une vidéo et de les remplacer par des modèles de personnages 3D cartoons, générant ainsi des vidéos IA amusantes. Parallèlement, les autres scènes et personnages de la vidéo restent inchangés, et le personnage 3D de remplacement peut reproduire fidèlement les mouvements du personnage original, les mouvements restant cohérents.
Page d'accueil du projet Motionshop :https://aigc3d.github.io/motionshop/
Principe technique de Motionshop :
1. Traitement vidéo et extraction de l'arrière-plan : grâce à des techniques de traitement vidéo, le personnage est séparé de la vidéo originale, laissant un arrière-plan vide. Cette étape implique une analyse et un traitement complexes de l'image afin de garantir l'intégrité et la cohérence de l'arrière-plan.
Détection des personnages : Motionshop s'appuie sur un cadre basé sur les transformeurs qui intègre étroitement les informations textuelles aux détecteurs closed-set existants, afin de réaliser une détection d'objets zero-shot.
Segmentation et suivi : une fois la cible détectée avec succès, la zone cible au niveau du pixel est suivie à l'aide d'une méthode de segmentation et de suivi d'objets vidéo.
Inpainting : les zones d'image restantes dans la vidéo sont complétées grâce à des techniques d'inpainting vidéo, notamment la complétion récursive du flux, la propagation bi-domaine dans les domaines de l'image et des caractéristiques, etc.
2. Estimation de la pose : cette étape utilise des techniques d'estimation de pose pour analyser les mouvements des personnes. Elle implique la capture et l'analyse des mouvements corporels, en utilisant la méthode CVFFS pour estimer une pose humaine stable, et en adoptant le modèle corporel SMPL pour représenter le corps humain en 3D.
3. Génération d'animation de personnages 3D cartoons : à partir de la pose et des mouvements estimés, un personnage 3D animé correspondant est généré. Ce processus doit garantir que les mouvements du modèle 3D correspondent à ceux du personnage de la vidéo originale.
4. Estimation de l'éclairage : afin d'intégrer plus naturellement le modèle 3D dans l'arrière-plan de la vidéo originale, les conditions d'éclairage de la vidéo doivent être estimées et le modèle 3D doit être traité en fonction de celles-ci.
5. Rendu haute performance : Motionshop utilise un moteur de rendu haute performance à lancer de rayons tel que TIDE pour rendre les modèles de personnages 3D cartoons, garantissant ainsi un haut degré de réalisme et d'effet visuel.
6. Composition vidéo : enfin, Motionshop compose les personnages 3D cartoons rendus dans la vidéo d'arrière-plan sans personnage, générant ainsi le résultat vidéo final.
Comment utiliser Motionshop :
Téléchargez une vidéo, l'IA reconnaît automatiquement le personnage principal en mouvement dans la vidéo et le remplace en un clic par un modèle de personnage 3D amusant, générant ainsi une vidéo IA unique en son genre.
Première étape : téléchargez une vidéo contenant un personnage (veuillez vous assurer que le personnage est complet et que la durée de la vidéo ne dépasse pas 15 secondes) ;
Deuxième étape : sélectionnez le personnage à remplacer dans la vidéo (sélection automatique) ;
Troisième étape : choisissez le modèle de personnage virtuel à utiliser pour le remplacement et cliquez sur générer, puis patientez environ 10 minutes pour obtenir le résultat.
Motionshop peut globalement remplacer Wonder Studio. Wonder Studio permet d'automatiser la conversion et le remplacement des personnages d'une scène réelle par des personnages CG, et permet également de réaliser l'animation, l'éclairage et la composition.
