Thera: масштабирование изображений до любого размера с сохранением высокого качества 192

Что такое Thera?

Thera — это метод сверхразрешения на основе нейронного теплового поля, обеспечивающий увеличение изображений без наложения спектров и потерь качества. Благодаря встроенной физической модели наблюдения он гарантирует генерацию высококачественных изображений при любом коэффициенте масштабирования и применяется в таких областях, как улучшение изображений, повышение разрешения видео, медицинская визуализация, системы видеонаблюдения и безопасности. Thera разработана совместно ETH Zurich и Цюрихским университетом.

Принцип работы Thera

Thera использует гиперсеть для оценки параметров пиксельно-локального нейронного теплового поля. Посредством глобально обучаемых компонентов и механизма тепловой активации она регулирует детали изображения в зависимости от частоты и целевого коэффициента масштабирования, после чего формирует непрерывное локальное нейронное поле и растеризует результат.

Функциональные особенности Thera

• Сверхразрешение в произвольном масштабе: Thera поддерживает увеличение изображений в любом масштабе и позволяет гибко настраивать коэффициент увеличения в зависимости от потребностей.

• Отсутствие алиасинга: благодаря встроенной физической модели наблюдения Thera обеспечивает корректное сглаживание и предотвращает размытие краёв и появление зазубрин, типичные для обычного масштабирования.

• Нейронное тепловое поле: используется гиперсеть для оценки параметров пиксельно-локального нейронного теплового поля, а глобально обучаемые компоненты и механизм тепловой активации регулируют детали изображения в зависимости от частоты и целевого коэффициента масштабирования.

• Непрерывное локальное нейронное поле: сгенерированное непрерывное локальное нейронное поле обеспечивает плавные переходы в изображении и устраняет разрывы, характерные для традиционных методов.

• Высококачественная реконструкция изображений: показывает отличные результаты на различных тестах сверхразрешения, сохраняя больше деталей и избегая избыточного сглаживания.

• Эффективные вычисления и сэмплирование: за счёт линейной комбинации и растеризации Thera способна эффективно формировать итоговое изображение при подходящей частоте дискретизации, удовлетворяя различные требования к разрешению.

Сценарии применения Thera

• Улучшение изображений и видео: повышение чёткости изображений и видео низкого разрешения, пригодно для восстановления старых фотографий, апскейла видео и т. д.

• Медицинская визуализация: повышение разрешения медицинских изображений (КТ, МРТ) для более точной диагностики.

• Видеонаблюдение и безопасность: усиление детализации записей наблюдения для облегчения распознавания и отслеживания.

• Спутниковая съёмка: повышение разрешения спутниковых снимков для экологического мониторинга и геоинформационного анализа.

• Машинное зрение: улучшение качества изображений в задачах распознавания лиц, автомобилей и других сценариях, повышение точности распознавания.

• Рендеринг в реальном времени и игры: динамическое повышение разрешения игрового изображения для улучшения визуального качества.

Ссылки по теме

Репозиторий на GitHub:https://github.com/prs-eth/thera

Страница проекта:https://therasr.github.io/

Статья:https://arxiv.org/pdf/2311.17643

Демо:https://huggingface.co/spaces/prs-eth/thera