Ev-DeblurVSR: инструмент для устранения размытия и повышения разрешения видео 153

Что такое Ev-DeblurVSR?

Ev-DeblurVSR — это технология сверхразрешающего восстановления, которая улучшает результаты для размытых видео за счёт объединения данных событий, разработанная Университетом науки и технологий Китая, Институтом исследований искусственного интеллекта Хэфэйского комплексного национального научного центра, Национальным университетом Сингапура и другими учреждениями. Она позволяет удалять размытие видео и одновременно повышать его разрешение. Соответствующие результаты были представлены на конференции AAai 2025 года.

Функции Ev-DeblurVSR

• Удаление размытия видео: справляется с размытием в видео — будь то размытие от движения или дрожания рук — и делает видео чётким.
• Сверхразрешение видео: может превращать размытое видео низкого разрешения в чёткое видео высокого разрешения, поддерживая повышение разрешения до 4 раз.
• Обработка в реальном времени: способна обрабатывать удаление размытия изображений и видео в реальном времени, что подходит для сценариев, требующих мгновенного результата.

Технические преимущества Ev-DeblurVSR

• Слияние данных с камеры событий: используются данные с камеры событий, которая фиксирует мгновенные изменения освещённости и предоставляет более точную временную информацию.
• Двунаправленный модуль устранения размытия (RFD): использует информацию о движении из межкадровых событий для устранения размытия, одновременно усиливая эффект за счёт глобального контекста сцены.
• Гибридный деформируемый модуль выравнивания (HDA): объединяет межкадровую информацию о событиях и оптический поток для повышения точности оценки движения.
• Оптимизация производительности: при тестировании на реальных данных Ev-DeblurVSR точнее предыдущего лучшего метода FMA-Net (+2,59 дБ) и при этом в 7,28 раза быстрее.

Сценарии применения Ev-DeblurVSR

• Видеонаблюдение: способно очищать размытое видео, вызванное дрожанием камеры или другими факторами, делая изображение с камер наблюдения более чётким.
• Захват движения: обеспечивает поддержку потребностей в видео высокого разрешения в таких областях, как спортивный анализ и виртуальная реальность.
• Постпродакшн кинофильмов: позволяет восстанавливать или улучшать старые видеофрагменты.

Часто задаваемые вопросы

Вопрос: В чём основные преимущества сети Ev-DeblurVSR по сравнению с другими методами BVSR, основанными на событиях?

Ответ: Ev-DeblurVSR за счёт модуля взаимного устранения размытия признаков и гибридного деформируемого модуля выравнивания более эффективно объединяет информацию кадров и событий и усиливает временную согласованность. На наборе данных GoPro её значение PSNR достигает 32,51, что выше, чем у других методов на основе событий, таких как EFNet + EGVSR с результатом 23,53 и т. д.; на реальных данных по сравнению с FMA-Net точность повышается на 2,59 дБ, а скорость — в 7,28 раза.

Вопрос: Как именно модуль взаимного устранения размытия признаков реализует устранение размытия кадровых признаков и усиление признаков событий?

Ответ: модуль взаимного устранения размытия признаков использует информацию о движении из межкадровых событий для устранения размытия кадровых признаков, одновременно усиливая признаки событий с помощью глобального контекста сцены кадра, обеспечивая эффективное объединение и взаимное улучшение информации обоих источников. Конкретная реализация включает извлечение признаков кадров и событий, операции взаимодействия и т. д.

Вопрос: Как взаимодополняющая информация о движении из межкадровых событий и оптического потока в гибридном деформируемом модуле выравнивания совместно работает для улучшения оценки движения?

Ответ: гибридный деформируемый модуль выравнивания в полной мере использует взаимодополняющую информацию о движении из межкадровых событий и оптического потока. Путём объединения и взаимодополняющего вычисления информации о движении обоих источников он точнее оценивает движение объектов в процессе деформируемого выравнивания, тем самым усиливая временную согласованность.

Страница проекта: https://dachunkai.github.io/ev-deblurvsr.github.io/

Статья: https://arxiv.org/pdf/2504.13042

Github: https://github.com/DachunKai/Ev-DeblurVSR