Light-A-Video: Video-Beleuchtung ohne Nachtraining anpassen 153

Light-A-Video ist eine einfache Anwendung, die ein bildweises Relighting-Modell implementiert und hauptsächlich die Probleme der Lichtquellenkonsistenz sowie des Relighting-Erscheinungsbilds adressiert. Das Ziel dieses Projekts ist es, die Natürlichkeit von Lichteffekten in Videos zu verbessern, sodass die erzeugten Videobilder in Bezug auf Lichtquelle und Erscheinungsbild einheitlicher wirken. Es löst die Probleme herkömmlicher Video-Relighting-Verfahren, wie hohe Trainingskosten, Datenknappheit, schlechte zeitliche Konsistenz und eingeschränkte Anwendungsbereiche.

Funktionsmerkmale von Light-A-Video:

Kein Training erforderlich: Light-A-Video nutzt unüberwachtes Lernen und benötigt weder große Datensätze noch komplexe Trainingsprozesse.

CLA-Modul: Durch einen Dual-Stream-Aufmerksamkeitsmechanismus, der die hochfrequenten Details der Originalbilder mit der stabilen Hintergrundbeleuchtung der über die Bilder gemittelten Frames kombiniert, wird die Stabilität der Lichtquelle sichergestellt und Flimmern reduziert.

PLF-Strategie: Diese Strategie fusioniert die Relighting-Effekte schrittweise und stellt sicher, dass während des Video-Denoising-Prozesses die Beleuchtungskonsistenz und sanfte Übergänge erhalten bleiben, wodurch unnatürliche Effekte durch bildweise Verarbeitung vermieden werden.

Breite Kompatibilität: Die Methode ist mit zahlreichen Video-GenerierungsModellen wie UNet und DiT kompatibel, was ihre Vielseitigkeit in unterschiedlichen Anwendungsszenarien zeigt.

Beleuchtungskonsistenz: Durch die Einführung zweier zentraler Module wird die Beleuchtungskonsistenz in Videos verbessert:

• Consistent Light Attention (CLA): Durch die Stärkung der Interaktion zwischen Bildern im Selbstaufmerksamkeitsmechanismus wird die Konsistenz der Hintergrundlichtquelle sichergestellt.

• Progressive Light Fusion (PLF): Unter Nutzung des Unabhängigkeitsprinzips der Lichtübertragung werden Beleuchtungsübergänge durch lineare Mischung geglättet, um die Beleuchtungskonsistenz zwischen Videobildern zu gewährleisten.

Technischer Ablauf:

• Videocodierung und Rauschaddition: Das Eingangsvideo wird in den latenten Raum codiert und mit Rauschen versehen, um die anschließende Verarbeitung vorzubereiten.

• Bildweises Relighting: Ein vortrainiertes Bild-Relighting-Modell wird auf jedes Einzelbild angewendet.

• Anwendung des CLA-Moduls: Durch die verstärkte Interaktion zwischen den Bildern wird der Beleuchtungseffekt stabilisiert und die Konsistenz zwischen den Videobildern erhalten.

• Umsetzung der PLF-Strategie: Die Relighting-Effekte werden schrittweise in den Video-Denoising-Prozess integriert, um zeitlich sanfte Übergänge sicherzustellen.

• Videodecodierung: Schließlich wird das relightete Video erzeugt, wobei hohe Qualität und zeitliche Kohärenz erhalten bleiben.

Anwendungsszenarien von Light-A-Video:

Light-A-Video stellt hauptsächlich für Bereiche wie Videobearbeitung, Film-Spezialeffekte, Virtual Reality, Werbung sowie Spieleentwicklung effizientere und flexiblere Werkzeuge zur Anpassung der Videobeleuchtung bereit:

• Relighting des gesamten Videos: Geeignet für das Relighting des gesamten Videos.

• Relighting des Videovordergrunds: Kombiniert mit Hintergrundgenerierung für das Relighting des Videovordergrunds.

Light-A-Video wurde von Forschern der Shanghai Jiao Tong University, der University of Science and Technology of China, der Chinese University of Hong Kong, der Hong Kong University of Science and Technology, der Stanford University und weiteren Institutionen gemeinsam entwickelt und ist das erste Modell für Video-Relighting, das ohne vorheriges Training qualitativ hochwertige und zeitlich kohärente Ergebnisse erzielt.