Phantom : système de génération vidéo à cohérence du sujet basé sur l'alignement cross-modal 131

Phantom est un nouvel outil de génération de vidéo développé par ByteDance, qui génère des vidéos à partir d'images de référence du visage. Au cours de ce processus, il préserve avec précision les caractéristiques d'identité du visage de référence, telles que le contour du visage, les proportions des traits et les expressions, tout en produisant un contenu vidéo très vivant.

La particularité de Phantom réside dans sa capacité rigoureuse à préserver les caractéristiques individuelles lors de la génération vidéo. Par exemple, lorsqu'un utilisateur fournit sa propre photo, le personnage dans la vidéo générée par Phantom ne subira aucune déformation, distorsion ou conflit avec d'autres éléments. Cette caractéristique ouvre aux utilisateurs une nouvelle voie pour créer des vidéos personnalisées.

Fonctionnalités du produit Phantom :

Génération vidéo avec préservation de l'identité

• Génère des vidéos à partir d'images de référence du visage, en préservant rigoureusement les caractéristiques d'identité du sujet (visage, posture, etc.).

• Prend en charge la génération dynamique de contenu vidéo correspondant au sujet (actions, changements de scène) en fonction des invites.

Génération vidéo avec un sujet de référence unique

• Objets : reproduit fidèlement la forme et la position des objets dans l'image de référence.

• Vêtements / personnages virtuels : maintient la texture et la couleur des vêtements ainsi que la cohérence dynamique des personnages virtuels.

• Animaux : simule le comportement et la logique d'interaction des animaux.

Génération vidéo avec plusieurs sujets de référence

• Scènes de groupe : génération dynamique d'actions coordonnées et de dialogues entre plusieurs personnes.

• Présentation de produits : rotation et effets d'essai de produits dans différentes scènes.

• Essayage virtuel : génère des vidéos d'essayage de vêtements et d'accessoires après le téléchargement d'une image par l'utilisateur.

Avantages techniques de Phantom :

• Haute cohérence : les caractéristiques du sujet et les éléments de détail restent stables tout au long de la vidéo.

• Saisie flexible : prend en charge une ou plusieurs images de référence, réduisant la barrière à l'entrée pour les utilisateurs.

• Alignement multimodal : réalise une correspondance précise entre les images et les descriptions textuelles, améliorant ainsi les résultats de génération.

Scénarios d'application de Phantom :

Domaine de la création de contenu

• Génération de vidéos courtes : génère rapidement des vidéos courtes personnalisées (telles que des présentateurs virtuels ou des courts-métrages).

• Marketing publicitaire : génère des vidéos de démonstration dynamiques pour les produits, adaptées au e-commerce et à la promotion sur les réseaux sociaux.

Applications sectorielles verticales

• Éducation / formation : produit des vidéos pédagogiques avec des personnages virtuels, renforçant l'interactivité.

• Cinéma et divertissement : aide à générer des effets spéciaux d'animation ou des scènes virtuelles à faible coût.

• Médecine / recherche scientifique : simule des procédures chirurgicales et des démonstrations visuelles d'expériences scientifiques.

Besoins de personnalisation des utilisateurs

• Essayage virtuel : les utilisateurs téléchargent un selfie pour générer des effets d'essayage de vêtements et d'accessoires.

• Jumeau numérique : crée un avatar virtuel basé sur la photo personnelle et permet des interactions dynamiques.

La percée technologique de Phantom repose sur l'analyse des corrélations entre différents types de données (comme les images et les descriptions de scènes). Nous avons développé une nouvelle génération de technologie de génération d'images qui permet aux images produites d'afficher une texture plus proche du réel. Même avec une seule photo statique, cette technologie permet à un avatar virtuel de bouger naturellement — qu'il s'agisse de simuler les mouvements d'une personne dans différentes scènes, de faire interagir plusieurs personnages virtuels (comme une conversation à plusieurs ou une présentation combinée de produits), ou même de réaliser l'effet « l'utilisateur télécharge une photo et peut essayer des vêtements » — tout devient aussi intuitif que de la magie.

Cette caractéristique technologique est particulièrement adaptée aux scénarios nécessitant des démonstrations dynamiques : présenter en temps réel la texture des tissus des vêtements en direct, « ressusciter » des personnages historiques pour expliquer des connaissances dans des vidéos éducatives, ou faire démonstration automatiquement de l'utilisation d'un produit dans un spot publicitaire. Ces étapes, qui nécessitaient auparavant une production complexe, peuvent désormais être réalisées efficacement de manière beaucoup plus simple.

GitHub :https://github.com/Phantom-video/Phantom

Article : https://arxiv.org/abs/2502.11079