Light-A-Video : ajustez l'éclairage d'une vidéo sans réentraînement 147

Light-A-Video est une application simple destinée aux modèles de relighting image par image, qui résout principalement les problèmes de cohérence des sources lumineuses et d'apparence du relighting. L'objectif de ce projet est d'améliorer le naturel des effets d'éclairage dans les vidéos, rendant les frames vidéo générées plus cohérentes en termes de source lumineuse et d'apparence, et résolvant les problèmes liés aux méthodes traditionnelles de relighting vidéo tels que le coût d'entraînement élevé, la rareté des données, la mauvaise cohérence temporelle et les limitations du domaine d'application.

Fonctionnalités et caractéristiques de Light-A-Video :

Aucun entraînement nécessaire : Light-A-Video adopte une approche d'apprentissage non supervisé, ne nécessitant pas de jeux de données à grande échelle ni de processus d'entraînement complexes.

Module CLA : Grâce à un mécanisme d'attention à deux flux, combinant les détails haute fréquence de la frame originale et l'éclairage de fond stable après moyennage inter-frames, il garantit la stabilité de la source lumineuse et réduit le scintillement.

Stratégie PLF : Cette stratégie fusionne progressivement les effets de relighting, assurant la cohérence de l'éclairage et des transitions douces au cours du processus de débruitage vidéo, évitant ainsi les effets non naturels causés par le traitement frame par frame.

Large compatibilité : Cette méthode est compatible avec de nombreux modèles de génération vidéo, tels que UNet et DiT, démontrant sa polyvalence dans différents scénarios d'application.

Cohérence de l'éclairage : En introduisant deux modules clés pour renforcer la cohérence de l'éclairage dans la vidéo :

• Consistent Light Attention (CLA) : en renforçant l'interaction inter-frames dans le mécanisme d'auto-attention, il assure la cohérence de la source lumineuse en arrière-plan.

• Progressive Light Fusion (PLF) : en s'appuyant sur le principe d'indépendance du transport de la lumière, il utilise un mélange linéaire pour adoucir les transitions d'éclairage, garantissant la cohérence de l'éclairage entre les frames vidéo.

Flux technologique :

• Encodage et ajout de bruit à la vidéo : la vidéo d'entrée est encodée dans l'espace latent et du bruit y est ajouté pour préparer le traitement ultérieur.

• Relighting frame par frame : un modèle de relighting d'images pré-entraîné est utilisé pour traiter chaque frame.

• Application du module CLA : en renforçant l'interaction inter-frames, l'effet d'éclairage est stabilisé et la cohérence entre les frames vidéo est maintenue.

• Mise en œuvre de la stratégie PLF : les effets de relighting sont progressivement intégrés dans le processus de débruitage de la vidéo, assurant une transition fluide dans le temps.

• Décodage de la vidéo : la vidéo finale après relighting est générée, tout en conservant une haute qualité et une cohérence temporelle.

Scénarios d'application de Light-A-Video :

Light-A-Video fournit des outils d'ajustement de l'éclairage vidéo plus efficaces et plus flexibles pour des domaines tels que le montage vidéo, la production d'effets spéciaux pour le cinéma, la réalité virtuelle, la publicité et le développement de jeux :

• Relighting complet de la vidéo : adapté au relighting de la vidéo entière.

• Relighting du premier plan vidéo : combiné à la génération d'arrière-plan pour le relighting du premier plan dans la vidéo.

Light-A-Video a été développé conjointement par des chercheurs de l'Université Jiao Tong de Shanghai, de l'Université des Sciences et Technologies de Chine, de l'Université Chinoise de Hong Kong, de l'Université des Sciences et Technologies de Hong Kong, de l'Université de Stanford et d'autres institutions. Il s'agit du premier modèle de relighting vidéo capable d'obtenir des résultats de haute qualité et cohérents dans le temps sans entraînement préalable.