RelightVid: пересвет видео на основе текстового описания пользователя 220

Что такое RelightVid?

RelightVid — это технология видео-переосвещения, своего рода IC Light для видео, которая позволяет настраивать освещение видео на основе таких условий, как вводимое пользователем текстовое описание, фоновое видео или HDR-карта окружения, добиваясь реалистичных результатов при различных условиях освещения. Благодаря специальной архитектуре модели и методам обучения достигается высококачественное переосвещение видео с сохранением согласованности между кадрами, что предотвращает мерцание и скачки.

Функции RelightVid

• Переосвещение по текстовому условию: пользователь вводит текстовое описание, например «солнечный свет, проникающий сквозь листву и создающий пятнистые тени», и RelightVid моделирует видеоэффект в соответствующих условиях освещения.

• Переосвещение по условию фонового видео: в качестве условия освещения используется фоновое видео, что позволяет динамически подстраивать освещение объектов переднего плана для согласования с фоном.

• Переосвещение по условию HDR-карты окружения: использование HDR-карты окружения для точного контроля освещения и достижения высококачественного переосвещения.

• Переосвещение всей сцены: одновременное переосвещение переднего и заднего плана, чтобы вся сцена соответствовала заданным условиям освещения.

• Переосвещение с сохранением переднего плана: изменение освещения объектов переднего плана при неизменном фоне — подходит для сцен с акцентом на объекты переднего плана.

Технические принципы RelightVid

• Расширение диффузионной модели: основано на предобученной диффузионной модели переосвещения изображений (например, IC-Light), архитектура расширена для поддержки видеовхода, введены временные слои для захвата межкадровых временных зависимостей, что обеспечивает временную согласованность переосвещения.

• Совместное обучение с мультимодальными условиями: одновременно используются фоновое видео, текстовые подсказки и HDR-карта окружения в качестве условий; они встраиваются в модель через кодировщики и реализуют совместное редактирование на основе механизма кросс-внимания.

• Инвариантный к освещению ансамбль (Illumination-Invariant Ensemble, IIE): путём повышения яркости входного видео и усреднения предсказанного шума повышается устойчивость модели при различных условиях освещения, предотвращая изменения альбедо.

• Конвейер аугментации данных (LightAtlas): генерация высококачественных пар данных переосвещения на основе реальных видео и данных 3D-рендеринга, что обеспечивает модели богатые априорные знания об освещении и повышает её способность адаптироваться к сложным сценариям освещения.

Преимущества и ограничения

Преимущества:

• Временная согласованность: введение временных слоёв эффективно обеспечивает временную согласованность переосвещения видео, устраняя мерцание и скачки.

• Мультимодальное условное управление: поддержка нескольких модальностей условий, позволяющая пользователю гибко настраивать эффекты освещения.

• Высококачественные результаты переосвещения: сочетание нескольких технологий обеспечивает высококачественное переосвещение, делая видео более реалистичным.

Ограничения:

• Требования к вычислительным ресурсам: основано на модели глубокого обучения, требует значительных вычислительных ресурсов, что ограничивает применение на маломощных устройствах.

• Обработка сложных сцен: при работе с очень сложными сценами возможны неточные или неестественные эффекты освещения.

• Требования к знаниям пользователя: для полноценного использования функций необходимы определённые знания в области видеомонтажа и освещения.

Как пользоваться RelightVid

• Можно воспользоваться онлайн-демо RelightVid по адресу: https://huggingface.co/spaces/aleafy/RelightVid.

• На странице демо загрузите видео и при необходимости введите текстовое описание, выберите фоновое видео или HDR-карту окружения и другие условия — после этого можно запустить переосвещение.

Часто задаваемые вопросы

1. В чём ключевое отличие RelightVid от традиционных методов переосвещения видео?

Ответ: традиционные методы чаще всего представляют собой прямое расширение моделей редактирования изображений и не учитывают временну́ю согласованность видео, а также с трудом объединяют мультимодальные входные данные (такие как текст и динамическое освещение). RelightVid явным образом фиксирует межкадровые зависимости освещения за счёт встраиваемых обучаемых временных слоёв и механизма кросс-внимания по освещению, а также поддерживает множественные условия на входе — текст, фоновое видео, HDR-карту, — обеспечивая более естественное динамическое редактирование освещения.

2. Как в построении набора данных балансируются реалистичность и разнообразие?

Ответ: это достигается с помощью двух источников данных аугментации:

реальные («дикие») видео дают подлинные сценарии освещения (например, свет из окна кухни, уличные фонари дождливой ночью), обеспечивая реалистичность;

данные 3D-рендеринга генерируют разнообразные комбинации освещения (например, свет лавового пламени, мягкий свет софтбокса) с помощью случайных HDR-карт и траекторий камеры, что повышает обобщающую способность модели.

Их сочетание позволяет набору данных включать как реальные примеры, так и экстремальные условия освещения, труднодостижимые для традиционных методов.

3. Как в технической реализации обеспечивается временна́я согласованность результатов переосвещения?

Ответ: за счёт двойного механизма — динамического HDR-условия на входе и временны́х слоёв:

• динамическая HDR-карта выступает как входной временной ряд, ограничивая плавное изменение параметров освещения (таких как интенсивность и цвет) между кадрами;

• временны́е слои, встроенные в U-Net диффузионной модели, обеспечивают взаимодействие признаков между кадрами, предотвращая резкие скачки освещения между соседними кадрами.

• кроме того, механизм кросс-внимания по освещению дополнительно распространяет признаки освещения между кадрами, усиливая глобальную согласованность.

Ссылки на проект

Официальный сайт проекта: https://aleafy.github.io/relightvid/

Репозиторий на GitHub: https://github.com/Aleafy/RelightVid

Статья на arXiv: https://arxiv.org/pdf/2501.16330

Онлайн-демо: https://huggingface.co/spaces/aleafy/RelightVid