MAGREF : l'outil de génération vidéo multi-sujets de ByteDance 70

MAGREF est un outil de génération de vidéo multi-sujets lancé par ByteDance, qui permet aux utilisateurs de générer des vidéos très cohérentes à partir d'une seule image de référence, qu'il s'agisse d'un seul sujet ou de scènes avec plusieurs sujets. Grâce à un mécanisme de guidage par masque et de concaténation de canaux, il résout les problèmes courants de confusion d'identité et d'actions désynchronisées que l'on rencontre dans la génération vidéo traditionnelle. MAGREF permet également de combiner personnages, objets et arrière-plans de multiples façons, garantissant la stabilité de l'identité et la cohérence structurelle des vidéos générées.

Fonctionnalités principales

• Génération multi-sujets cohérente : à partir d'une seule image de référence, il génère des vidéos de personnages ou d'objets hautement cohérents, prenant en charge plusieurs personnes dans le même cadre sans phénomène de « mélange de visages ». Par exemple, vous pouvez l'utiliser pour générer une vidéo d'Einstein à moto, ou une vidéo de Newton en train de peindre avec son pinceau. L'apparence et les vêtements des personnages restent identiques à chaque image, sans devenir de plus en plus incohérents.

• Traitement diversifié des images de référence : grâce à un mécanisme de guidage par masque et de concaténation de canaux, il peut traiter plusieurs images de référence sans augmenter la complexité du modèle. Qu'il s'agisse d'une performance individuelle, d'une interaction entre plusieurs personnes, ou de la présence simultanée de personnages, d'objets et d'arrière-plans, il génère des vidéos stables et cohérentes.

• Entrée et génération multimodales : selon différentes invites textuelles, il peut réaliser le concept d'« un seul visuel, mille interprétations ». Quelle que soit la personne saisie, de quelle époque elle vient, ou si son style est abstrait, il peut restituer fidèlement ses caractéristiques et générer différentes actions, environnements et effets d'éclairage en fonction des instructions textuelles. Par exemple, vous pouvez saisir un portrait, une image d'objet et une image d'arrière-plan, puis ajouter une description, et il générera une vidéo complète intégrant ces trois types d'éléments. Les interactions entre personnages et objets semblent naturelles, et la scène ne présente aucune incohérence.

Implémentation technique

• Processus de traitement des données : il adopte un processus de traitement des données en trois étapes pour construire des échantillons d'entraînement vidéo de haute qualité et structurellement clairs. La première étape consiste à découper des segments sémantiquement cohérents à partir des vidéos brutes, à filtrer les échantillons de faible qualité et à générer un texte structuré pour chaque segment ; la deuxième étape consiste à identifier les objets clés de la vidéo par extraction d'étiquettes et segmentation sémantique, puis à effectuer un post-traitement pour obtenir des masques précis ; la troisième étape consiste à détecter et attribuer l'identité des personnages dans la vidéo, et à sélectionner des images faciales de haute qualité pour la construction d'images de référence, garantissant ainsi la cohérence de l'identité pendant le processus d'entraînement.

Mécanismes clés

• Masquage dynamique sensible à la zone : basé sur le mécanisme d'attention de l'apprentissage profond, il permet au modèle de disposer d'une « perception visuelle dynamique ». Grâce à des algorithmes de segmentation sémantique, il identifie précisément les zones clés de la vidéo et ajuste en temps réel les poids des masques des différents sujets en fonction des invites saisies. Ainsi, même si le nombre et l'ordre des images de référence varient, le système maintient la cohérence structurelle, évite le mélange d'identités et clarifie les relations.

• Concaténation de canaux au niveau des pixels : dans la technologie sous-jacente de génération d'images, il fusionne les informations au niveau de la dimension des canaux (canaux RVB + canaux de caractéristiques). Il extrait les caractéristiques d'apparence des images de référence via un réseau de neurones convolutif et les concatène au niveau des canaux avec les cartes de caractéristiques de la scène générée, garantissant que la couleur de peau, la coiffure et d'autres détails des personnages correspondent étroitement à l'image de référence. Parallèlement, des opérations de normalisation équilibrent les paramètres d'éclairage des différentes scènes, évitant toute sensation de rupture entre le sujet et l'arrière-plan due à des différences de luminosité. Il prend également en charge la saisie simultanée de portraits de personnages, d'images d'objets et de photos d'environnement, générant des scènes multimodales logiquement cohérentes grâce à une fusion au niveau des canaux.

Scénarios d'application

• Production cinématographique et télévisuelle : il peut restructurer la préparation en amont et les flux d'effets spéciaux de la production audiovisuelle. Par exemple, lors de la phase de scénario, il peut être utilisé pour générer des storyboards dynamiques, permettant au réalisateur d'ajuster en temps réel les tons de couleur des scènes et les actions des personnages. Il peut également remplacer partiellement le tournage sur fond vert ; par exemple, dans les drames historiques, en saisissant des images de référence de quelques soldats, il est possible de générer en masse des vidéos de marches en formation conformes aux vêtements et tactiques anciens.

• Développement de jeux : il accélère l'itération du contenu des jeux et améliore l'immersion. À partir des modélisations des personnages du jeu, il génère rapidement des vidéos d'expressions et d'actions des personnages à différentes étapes narratives ; il peut également générer automatiquement les activités quotidiennes des PNJ dans les villes, sans nécessiter un réglage manuel image par image des animations.

• Publicité et marketing : il fonctionne comme un « moteur de production de masse » de contenu personnalisé, capable de générer des centaines de vidéos de scénarios d'utilisation différents pour un même produit, répondant ainsi aux besoins de diffusion fragmentée sur les réseaux sociaux. Il peut également générer plusieurs versions de supports publicitaires à partir du portrait de célébrités, évitant les contraintes de planning et les litiges liés aux droits d'auteur liés aux tournages avec de vraies personnes.

Liens du projet

• Page du projet :https://magref-video.github.io/magref.github.io/

• Github :https://github.com/MAGREF-Video/MAGREF

• Article :https://arxiv.org/pdf/2505.23742