DreamActor-M1 : framework de ByteDance pour animer une photo avec une vidéo de mouvement 118

Qu'est-ce que DreamActor-M1 ?

DreamActor-M1 est un cadre d'animation d'images humaines basé sur un transformateur de diffusion (DiT) lancé par ByteDance, similaire à Act One de Runway. À partir d'une image de référence donnée, DreamActor-M1 peut imiter les comportements humains capturés à partir d'une vidéo et produire des vidéos très expressives et réalistes à plusieurs échelles (du portrait à l'animation en plan complet). Il résout également les problèmes rencontrés par d'autres cadres, tels que des expressions et des mouvements insuffisamment nuancés, ainsi que les incohérences de détails dans les longues vidéos. Il prend en charge divers styles de mouvements et surpasse Act-One, Animate Everyone et SkyReels-A1 en termes de performances.

Fonctionnalités principales de DreamActor-M1

• Conversion de photos statiques en images dynamiques : en combinant une photo statique et une vidéo de mouvements de référence, le personnage de la photo est intégré de manière transparente dans la scène vidéo, générant ainsi des images dynamiques aux expressions fines, aux mouvements naturels et à une qualité d'image haute définition.

• Contrôle précis : un mécanisme de guidage hybride est adopté, combinant des signaux de contrôle tels que des représentations faciales implicites, une sphère de tête 3D et un squelette corporel 3D, afin d'assurer un contrôle précis des expressions faciales et des mouvements corporels du personnage.

• Transfert de mouvement flexible : prend en charge le transfert uniquement d'une partie du mouvement, par exemple les expressions faciales et les mouvements de tête.

• Prise en charge de l'animation faciale : peut être étendu à l'animation faciale pilotée par l'audio, permettant une synchronisation labiale multilingue.

• Animation sensible à la forme : grâce à une technologie d'ajustement de la longueur des os, une génération d'animations adaptées à la forme est réalisée.

• Prise en charge de styles variés : robuste face à divers personnages et styles de mouvement.

• Prise en charge de plusieurs points de vue : capable de générer des résultats d'animation sous différentes postures de tête.

Principes techniques de DreamActor-M1

• Mécanisme de guidage hybride : combine des signaux de contrôle tels que des représentations faciales implicites, une sphère de tête 3D et un squelette corporel 3D, garantissant que l'animation générée est très réaliste dans les détails tout en conservant une cohérence et une fluidité globales.

• Adaptabilité multi-échelles : grâce à une stratégie d'entraînement progressive, il peut traiter diverses postures corporelles et images de différentes résolutions, prenant en charge les conversions du portrait à la vue en plan complet.

• Cohérence temporelle à long terme : en intégrant les schémas de mouvement et les références visuelles d'images consécutives, la cohérence temporelle des zones non observées est assurée lors de mouvements complexes.

• Prise en charge de l'animation faciale et de la voix : prend en charge l'animation faciale pilotée par l'audio, permettant une synchronisation labiale multilingue.

Scénarios d'application de DreamActor-M1

• Production cinématographique et télévisuelle : utilisé pour générer des animations de personnages virtuels.

• Secteur de la publicité : création de publicités dynamiques mettant en scène des personnages.

• Jeux vidéo : génération des animations des personnages dans les jeux.

• Présentateurs virtuels : fournir aux présentateurs virtuels des effets d'animation plus naturels et plus réalistes.

• Éducation et formation : créer des vidéos pédagogiques dynamiques permettant aux personnages d'effectuer divers mouvements et expressions.

• Réseaux sociaux : générer des avatars dynamiques personnalisés ou de courtes vidéos.

Liens du projet

Site officiel du projet : https://grisoon.github.io/DreamActor-M1/

Article technique sur arXiv : https://arxiv.org/pdf/2504.01724