Boximator : génération de mouvements riches et contrôlables pour la synthèse vidéo 293

Boximator est un outil d'édition vidéo publié par ByteDance, qui permet aux utilisateurs de contrôler la trajectoire de mouvement du sujet principal dans les vidéos générées grâce à des opérations simples. L'objet suivra strictement la position et le trajet dessinés par l'utilisateur. L'innovation de cet outil réside dans son mode d'interaction intuitif : vous pouvez sélectionner l'objet que vous souhaitez déplacer, puis dessiner sa position finale et sa trajectoire de mouvement ; il se déplacera alors strictement selon la position et le trajet que vous avez dessinés. Comparé au pinceau de mouvement de Runway, Boximator permet de contrôler avec plus de précision la position finale du mouvement de l'objet.

Article Boximator : https://arxiv.org/abs/2402.01566

Démonstration de Boximator : https://boximator.github.io/#Demo

Projet Boximator : https://boximator.github.io/

Fonctionnalités principales de Boximator :

• Contrôle de trajectoire : les utilisateurs peuvent définir de manière simple et intuitive la trajectoire de mouvement du sujet dans la vidéo en effectuant une sélection par encadrement.

• Prise en charge de plusieurs sujets : Boximator permet aux utilisateurs de sélectionner simultanément plusieurs sujets et de définir une trajectoire de mouvement différente pour chacun.

• Personnalisation du trajet : en plus du déplacement de base de point à point, les utilisateurs peuvent également définir un trajet de mouvement spécifique pour le sujet dans la vidéo.

• Compatibilité avec les plugins : Boximator est compatible avec les modèles vidéo SD et peut être utilisé comme plugin, offrant une plus grande flexibilité et diversité dans le montage vidéo.

• Convivialité : le fonctionnement de Boximator est simple et intuitif, ne nécessitant aucune connaissance complexe en montage vidéo, permettant ainsi aux utilisateurs de contrôler le contenu vidéo.
  

• Haute compatibilité : compatible avec les modèles vidéo SD actuellement populaires, il peut être utilisé comme plugin offrant des possibilités d'application plus larges.

• Interaction innovante : le mode d'interaction novateur par sélection par encadrement rend le montage vidéo plus intuitif et pratique.

Scénarios d'application de Boximator :

• Production de contenu vidéo : pour les créateurs de vidéos, Boximator offre un nouveau moyen de produire des vidéos dynamiques.

• Création d'animations : pour les animateurs, il permet de simplifier le processus de conception des trajectoires de mouvement des personnages ou des objets.

• Démonstrations éducatives : dans le domaine de l'éducation, les enseignants peuvent utiliser cet outil pour créer du matériel de démonstration dynamique et intuitif.

Utilisation de Boximator :

La méthode publiée par ByteDance consiste à sélectionner d'abord le sujet dans l'image, puis à entourer la position vers laquelle il doit se déplacer, ce qui permet ensuite de générer une vidéo montrant le sujet se déplaçant du point de départ au point d'arrivée. Elle prend en charge la définition de trajets de mouvement et la sélection simultanée de plusieurs sujets. Compatible avec les modèles vidéo SD, elle peut être utilisée comme plugin.

Présentation de Boximator :

Nous proposons Boximator, une nouvelle méthode de contrôle fin du mouvement. Boximator adopte deux mécanismes de contrainte : la contrainte rigide (hard box) et la contrainte souple (soft box).

Les utilisateurs peuvent utiliser la contrainte rigide pour sélectionner un objet spécifique dans une image de la vidéo (appelée image de conditionnement), puis spécifier de manière approximative ou stricte, grâce à ces deux types de contraintes, la position, la forme ou la trajectoire de mouvement de cet objet dans les images futures. Boximator peut être utilisé comme module complémentaire d'un modèle de synthèse vidéo existant. Pendant l'entraînement, afin de préserver les connaissances du modèle d'origine, nous avons choisi de geler les poids initiaux et d'entraîner uniquement le module de contrôle.

Pour relever les défis liés au processus d'entraînement, nous avons introduit une technique innovante d'auto-suivi, ce qui simplifie considérablement l'apprentissage du processus d'association entre l'objet encadré et sa cible.

Les expériences ont démontré que Boximator atteint un niveau de pointe dans l'industrie en termes de qualité vidéo (à savoir le FVD, une norme d'évaluation de la qualité vidéo), avec des améliorations par rapport aux deux modèles de base, et ses résultats sont encore renforcés après l'introduction de contraintes par encadrement. Sa grande capacité de contrôle du mouvement a été validée par l'amélioration significative des indicateurs d'alignement des boîtes englobantes.

L'évaluation montre également que les utilisateurs préfèrent les effets vidéo générés par Boximator à ceux produits par le modèle de base.