RelightVid : ajuster l'éclairage des vidéos à partir de descriptions textuelles 213

小编 · 2025-06-04

RelightVid est une technique de ré-illumination vidéo, version vidéo de IC Light, qui ajuste l'éclairage d'une vidéo à partir de descriptions textuelles, de vidéos d'arrière-plan ou de cartes d'environnement HDR fournies par l'utilisateur, produisant des résultats réalistes sous différentes conditions d'éclairage. Grâce à une architecture de modèle dédiée et à une approche d'entraînement spécifique, elle offre une ré-illumination vidéo de haute qualité tout en maintenant la cohérence temporelle, évitant ainsi le scintillement ou les sauts entre les images.

RelightVid : ajuster l'éclairage des vidéos à partir de descriptions textuelles

Qu'est-ce que RelightVid ?

RelightVid est une technologie de ré-illumination vidéo, équivalente vidéo de IC Light, qui permet d'ajuster l'éclairage d'une vidéo en fonction de conditions saisies par l'utilisateur telles que des descriptions textuelles, des vidéos d'arrière-plan ou des environment maps HDR. Elle permet à la vidéo de呈现 des effets réalistes sous différentes conditions d'éclairage. Grâce à une architecture de modèle et des méthodes d'entraînement spécifiques, elle réalise une ré-illumination vidéo de haute qualité tout en garantissant la cohérence entre les images de la vidéo, évitant ainsi les scintillements ou les sauts.

RelightVid：根据用户输入的文本描述对视频进行光照调整.webp

Fonctionnalités de RelightVid

Ré-illumination conditionnée par texte : l'utilisateur saisit une description textuelle, par exemple « la lumière du soleil filtre à travers les feuilles, créant des ombres mouchetées », et RelightVid peut simuler l'effet vidéo dans les conditions d'éclairage correspondantes.
Ré-illumination conditionnée par vidéo d'arrière-plan : en utilisant une vidéo d'arrière-plan comme condition d'éclairage, ajuste dynamiquement l'éclairage de l'objet au premier plan afin que l'éclairage du premier plan et de l'arrière-plan soient cohérents.
Ré-illumination conditionnée par environment map HDR : utilise des environment maps HDR pour contrôler précisément l'éclairage et obtenir des effets de ré-illumination de haute qualité.
Ré-illumination de la scène entière : ré-illumine simultanément le premier plan et l'arrière-plan, de sorte que la scène entière corresponde aux conditions d'éclairage.
Ré-illumination avec préservation du premier plan : modifie l'éclairage de l'objet au premier plan tout en conservant l'arrière-plan inchangé, adapté aux scènes où l'on souhaite mettre en valeur l'objet au premier plan.

Principe technique de RelightVid

Extension du modèle de diffusion : basé sur un modèle de diffusion de ré-illumination d'images pré-entraîné (comme IC-Light), l'architecture est étendue pour prendre en charge l'entrée vidéo, et des couches temporelles sont introduites pour capturer les dépendances temporelles entre les images, garantissant la cohérence temporelle de la ré-illumination.
Entraînement conjoint avec conditions multimodales : peut utiliser simultanément une vidéo d'arrière-plan, des invites textuelles et des environment maps HDR comme conditions. Les conditions sont intégrées dans le modèle via des encodeurs, et une édition collaborative est réalisée grâce à un mécanisme de cross-attention.
Ensemble invariant à l'éclairage (Illumination-Invariant Ensemble, IIE) : en augmentant la luminosité de la vidéo d'entrée et en moyennant les prédictions de bruit, la robustesse du modèle dans différentes conditions d'éclairage est améliorée et les variations d'albédo sont évitées.
Pipeline d'augmentation de données (LightAtlas) : génère des paires de données de ré-illumination de haute qualité à partir de vidéos réelles et de données de rendu 3D, fournissant au modèle de riches connaissances a priori sur l'éclairage et améliorant sa capacité d'adaptation aux scènes à éclairage complexe.

Avantages et limites

Avantages :

Cohérence temporelle : grâce à l'introduction de couches temporelles, la cohérence temporelle de la ré-illumination vidéo est efficacement garantie, évitant les problèmes de scintillement ou de saut.
Contrôle par conditions multimodales : prend en charge le contrôle par plusieurs modalités, permettant à l'utilisateur d'ajuster灵活 les effets d'éclairage selon ses besoins.
Effets de ré-illumination de haute qualité : produit des effets de ré-illumination de haute qualité grâce à多种 techniques, rendant la vidéo plus réaliste.

Limites :

Besoins en ressources de calcul : basé sur des modèles d'apprentissage profond, il nécessite d'importantes ressources de calcul pour fonctionner, ce qui limite son application sur les appareils d'entrée de gamme.
Capacité de traitement des scènes complexes : lors du traitement de scènes très complexes, les effets d'éclairage peuvent être inexacts ou non naturels.
Exigences en connaissances pour l'utilisateur : l'utilisateur doit disposer de certaines connaissances en montage vidéo et en éclairage pour tirer pleinement parti de ses fonctionnalités.

Comment utiliser RelightVid

Vous pouvez accéder directement à la démo en ligne de RelightVid : https://huggingface.co/spaces/aleafy/RelightVid.
Sur la page de la démo, téléchargez une vidéo et, selon vos besoins, saisissez une description textuelle, sélectionnez une vidéo d'arrière-plan ou une environment map HDR, etc., pour effectuer la ré-illumination.

RelightVid使用方式.webp

Questions fréquentes

1. Quelle est la principale différence entre RelightVid et les méthodes traditionnelles de ré-éclairage vidéo ?

Réponse : les méthodes traditionnelles sont principalement basées sur l'extension directe de modèles d'édition d'image, manquent de modélisation de la cohérence temporelle vidéo et peinent à intégrer des entrées multimodales (comme le texte ou l'éclairage dynamique). RelightVid capture explicitement les dépendances d'éclairage entre les images grâce à des couches temporales entraînables et un mécanisme de cross-attention sur l'éclairage, et prend en charge des entrées multi-conditions telles que texte, vidéo d'arrière-plan et maps HDR, permettant une édition d'éclairage dynamique plus naturelle.

2. Comment équilibrer réalisme et diversité lors de la construction du jeu de données ?

Réponse : cela est réalisé grâce à une augmentation de données à double source :

les vidéos野外 fournissent des scènes d'éclairage réelles (comme la lumière d'une fenêtre de cuisine ou des réverbères sous la pluie), garantissant ainsi le réalisme ;

les données de rendu 3D génèrent des combinaisons d'éclairage diversifiées via des maps HDR aléatoires et des trajectoires de caméra (comme la lumière de la lave ou la lumière douce d'une softbox), renforçant la capacité de généralisation du modèle.

La combinaison des deux permet au jeu de données d'inclure à la fois des cas réels et des conditions d'éclairage extrêmes difficiles à obtenir par les méthodes traditionnelles.

3. Dans l'implémentation technique, comment garantir la cohérence temporelle des résultats de ré-éclairage ?

Réponse : cela repose sur un double mécanisme composé d'entrées de conditions HDR dynamiques et de couches temporelles :

les maps HDR dynamiques sont utilisées comme entrée de série temporelle, contraignant la variation régulière des paramètres d'éclairage de chaque image (comme l'intensité et la couleur) ;
les couches temporelles introduisent une交互 des caractéristiques entre images dans le U-Net du modèle de diffusion, évitant les changements brusques d'éclairage entre images adjacentes ;
de plus, le mécanisme de cross-attention sur l'éclairage propage davantage les caractéristiques d'éclairage entre les images, renforçant la cohérence globale.