MimicMotion : projet de génération de vidéos de mouvement 129

Issu de Tencent et de l'Université Jiao Tong de Shanghai, MimicMotion est un cadre de génération de vidéos capable de produire des vidéos de longueur arbitraire avec n'importe quel guidage de mouvement, de haute qualité. Il peut générer des vidéos de mouvements humains riches en détails et réalistes, produire du contenu vidéo de n'importe quelle longueur, et exercer un contrôle précis sur le contenu vidéo, y compris les actions, les poses et le style vidéo.

Similaire au Tongyi Wuwang d'Alibaba, mais avec un rendu visiblement bien meilleur, MimicMotion prend en charge les traits du visage et la synchronisation labiale, ce qui permet non seulement de créer des vidéos de danse, mais aussi de réaliser des humains numériques.

Ces dernières années, l'intelligence artificielle générative a réalisé des progrès significatifs dans le domaine de la génération d'images, donnant naissance à de multiples usages. Néanmoins, la génération vidéo reste confrontée à des défis considérables en termes de contrôlabilité, de durée de vidéo et de richesse des détails, ce qui entrave l'application et la diffusion de cette technologie. Dans ce travail, nous proposons un cadre de génération vidéo contrôlable, appelé MimicMotion, capable de produire des vidéos de haute qualité de longueur arbitraire sous n'importe quel guidage de mouvement. Par rapport aux méthodes précédentes, notre approche

présente plusieurs points forts.

Tout d'abord, grâce à un guidage par pose sensible à la confiance, la cohérence temporelle est assurée, ce qui permet d'améliorer la fluidité et la continuité du modèle via des données d'entraînement à grande échelle.

Ensuite, une perte régionale basée sur la confiance de la pose amplifie de manière significative la réduction des distorsions de l'image, atténuant notablement les déformations et les altérations dans les images générées.

Enfin, pour générer de longues vidéos fluides, une stratégie progressive de fusion latente est proposée. De cette manière, il est possible de produire des vidéos de longueur arbitraire tout en conservant une consommation de ressources informatiques acceptable.

Grâce à de nombreuses expérimentations et études utilisateurs, MimicMotion apporte des améliorations manifestes par rapport à la méthode Tongyi Wuwang d'Alibaba sur plusieurs aspects.

Code de MimicMotion :https://github.com/Tencent/MimicMotion

Version ComfyUI de MimicMotion :https://github.com/aiFSH/ComfyUI-MimicMotion