Light-A-Video: управление освещением видео без дообучения модели 158

Light-A-Video — это простое приложение, использующее модель покадровой пересветки изображений, основная задача которого — обеспечение согласованности источников света и корректного внешнего вида при пересветке. Цель проекта — повысить естественность световых эффектов в видео, сделать сгенерированные кадры более согласованными по источнику света и внешнему виду, а также решить проблемы, с которыми сталкиваются традиционные методы пересветки видео: высокие затраты на обучение, нехватку данных, плохую временную согласованность и ограниченность областей применения.

Функциональные особенности Light-A-Video:

Не требует обучения: Light-A-Video использует подход без учителя и не нуждается в больших наборах данных или сложных процессах обучения.

Модуль CLA: благодаря механизму двухпоточного внимания, объединяющему высокочастотные детали исходных кадров и стабильное фоновое освещение после усреднения между кадрами, обеспечивается стабильность источников света и уменьшается мерцание.

Стратегия PLF: эта стратегия постепенно объединяет эффекты пересветки, обеспечивая согласованность освещения и плавные переходы в процессе шумоподавления видео, тем самым избегая неестественных результатов, вызванных покадровой обработкой.

Широкая совместимость: метод совместим со множеством моделей генерации видео, таких как UNet и DiT, что демонстрирует его универсальность в различных сценариях применения.

Согласованность освещения: согласованность освещения в видео усиливается за счёт введения двух ключевых модулей:

• Consistent Light Attention (CLA): усиливает межкадровое взаимодействие в механизме самовнимания, обеспечивая согласованность фоновых источников света.

• Progressive Light Fusion (PLF): использует принцип независимости переноса света и выполняет линейное смешивание для плавных переходов освещения, обеспечивая согласованность света между кадрами видео.

Технологический процесс:

• Кодирование видео и добавление шума: входное видео кодируется в латентное пространство, и к нему добавляется шум для подготовки к дальнейшей обработке.

• Покадровая пересветка: каждый кадр обрабатывается предварительно обученной моделью пересветки изображений.

• Применение модуля CLA: усиление межкадрового взаимодействия стабилизирует эффекты освещения и обеспечивает согласованность между кадрами видео.

• Реализация стратегии PLF: эффекты пересветки постепенно интегрируются в процесс шумоподавления видео, обеспечивая плавные временные переходы.

• Декодирование видео: на выходе получается пересвеченное видео с высоким качеством и временной связностью.

Сценарии применения Light-A-Video:

Light-A-Video предоставляет более эффективные и гибкие инструменты для настройки освещения видео в таких областях, как видеомонтаж, создание спецэффектов в кино, виртуальная реальность, реклама и разработка игр:

• Полная пересветка видео: подходит для пересветки всего видео целиком.

• Пересветка переднего плана видео: пересветка переднего плана в сочетании с генерацией фона.

Light-A-Video разработан совместно исследователями из Шанхайского университета Цзяо Тун, Университета науки и технологий Китая, Китайского университета Гонконга, Гонконгского университета науки и технологий, Стэнфордского университета и других учреждений. Это первая модель пересветки видео, обеспечивающая высокое качество и временную связность без предварительного обучения.