KEEP: восстановление лиц в видео низкого разрешения до высокой чёткости 188

Что такое KEEP?

KEEP — это инструмент, разработанный исследовательской группой Наньянского технологического университета, который способен восстанавливать лица из видео низкого разрешения в высокое разрешение, делая черты лица более чёткими. Эта технология находит широкое применение в таких областях, как видеонаблюдение и кинопроизводство, эффективно улучшая качество изображений лиц и предоставляя более чёткий материал для последующего анализа и обработки.

Основные технологии KEEP

• Принцип фильтра Калмана: путём отслеживания черт лица в видеопоследовательности и использования фильтра Калмана для прогнозирования черт лица в следующем кадре достигается более высокое качество сверхразрешения лиц.

• Распространение признаков и динамическая корректировка: получение информации из ранее восстановленных кадров для управления процессом восстановления текущего кадра и уменьшения различий между последовательными кадрами.

• Мультимасштабная обработка: объединение информации разных масштабов для улучшения детализации и общего качества изображений лиц.

• Межкадровое внимание (CFA): дополнительно усиливает связь между различными кадрами, помогая поддерживать лучшую временную согласованность и детализацию при воспроизведении видео.

Архитектура модели KEEP

• Кодер и декодер: построена модель на основе вариационной квантовой генеративно-состязательной сети (VQGAN) для генерации высококачественных изображений сверхразрешения.

• Сеть фильтра Калмана: объединяет наблюдаемое состояние текущего кадра и предсказанное состояние предыдущего кадра для формирования более точной оценки текущего состояния.

• Слой межкадрового внимания (CFA): усиливает детализацию текущего кадра путём сопоставления и объединения похожих признаков из предыдущего кадра.

Преимущества KEEP

• Временная согласованность: способность поддерживать непрерывность лиц в видео, избегая временной несогласованности, вызванной независимой обработкой каждого кадра.

• Восстановление деталей: эффективное восстановление деталей лица, таких как глаза, нос и рот, даже в сильно ухудшенных видео.

• Устойчивость: отличные результаты при работе с нефронтальными лицами и сильно ухудшенными видео, стабильная оценка априорной информации о лице.

Сценарии применения KEEP

• Восстановление старых фильмов: повышение чёткости лиц в старых фильмах и восстановление деталей.

• Улучшение видеонаблюдения: в сфере безопасности — повышение разрешения лиц в записях видеонаблюдения.

• Видео в социальных сетях: улучшение чёткости лиц в видео низкого качества, загружаемых пользователями.

• Системы видеоконференций: повышение качества изображений лиц при удалённом общении.

• Опыт виртуальной реальности (VR): оптимизация рендеринга лиц персонажей.

Ссылка на проект

https://github.com/jnjaby/KEEP