Thera: ampliación de imágenes a cualquier escala manteniendo alta calidad 190

小编 ·

Thera: ampliación de imágenes a cualquier escala manteniendo alta calidad

Thera es un método de superresolución basado en campos de calor neuronales que permite un escalado de imágenes sin aliasing y sin pérdida de calidad. Mediante un modelo físico de observación integrado, garantiza resultados de alta calidad a cualquier factor de ampliación, aplicable a mejora de imágenes, escalado de vídeo, imagen médica, videovigilancia y más. Thera ha sido desarrollado conjuntamente por ETH Zürich y la Universidad de Zúrich.

Thera: ampliación de imágenes a cualquier escala manteniendo alta calidad

¿Qué es Thera?

Thera es un método de superresolución basado en campos neuronales de calor que permite realizar un aumento de imagen sin pérdidas sin aliasing. Mediante un modelo de observación física integrado, garantiza la generación de imágenes de alta calidad a cualquier factor de ampliación, siendo aplicable a campos como la mejora de imágenes, la conversión de vídeos a alta definición, la imagen médica y la videovigilancia. Thera ha sido desarrollado conjuntamente por el Instituto Federal de Tecnología de Zúrich (ETH Zurich) y la Universidad de Zúrich.

Thera效果对比.webp

¿Cómo funciona Thera?

Thera utiliza una hiperred para estimar los parámetros de un campo neuronal de calor local a nivel de píxel. Mediante componentes aprendidos de forma global y un mecanismo de activación por calor, ajusta los detalles de la imagen en función de la frecuencia y la proporción de ampliación objetivo, generando finalmente un campo neuronal local continuo que se rasteriza para obtener la salida.

Thera工作原理.jpg

Características y funcionalidades de Thera

  • Superresolución a escala arbitraria: Thera admite la ampliación de imágenes a cualquier escala, permitiendo ajustar el factor de ampliación de forma flexible según las necesidades.

  • Sin aliasing: Gracias al modelo de observación física integrado, Thera garantiza por diseño un correcto efecto de antialiasing, evitando la borrosidad de bordes y los artefactos de aliasing habituales en los procesos de ampliación.

  • Campos neuronales de calor: Utiliza una hiperred para estimar los parámetros de un campo neuronal de calor local a nivel de píxel, ajustando los detalles de la imagen mediante componentes aprendidos globalmente y un mecanismo de activación por calor, en función de la frecuencia y la proporción de ampliación objetivo.

  • Campos neuronales locales continuos: El campo neuronal local continuo generado permite transiciones suaves en la imagen, evitando las discontinuidades que pueden aparecer en los métodos tradicionales.

  • Reconstrucción de imágenes de alta calidad: Ofrece un rendimiento sobresaliente en múltiples pruebas de referencia de superresolución, conservando más detalles de la imagen y evitando al mismo tiempo un suavizado excesivo.

  • Cómputo y muestreo eficientes: Gracias a las técnicas de combinación lineal y rasterización, Thera puede generar la imagen final de forma eficiente con una tasa de muestreo adecuada, adaptándose a diferentes requisitos de resolución.

Escenarios de aplicación de Thera

  • Mejora de imágenes y vídeo: Aumenta la nitidez de imágenes y vídeos de baja resolución, siendo útil para la restauración de fotografías antiguas o la conversión de vídeo a alta definición.

  • Imagen médica: Mejora la resolución de imágenes médicas (como TC y RM), contribuyendo a diagnósticos más precisos.

  • Videovigilancia: Aumenta los detalles del vídeo de vigilancia, facilitando la identificación y el seguimiento.

  • Teledetección por satélite: Aumenta la resolución de las imágenes satelitales, utilizada en el monitoreo ambiental y el análisis de información geográfica.

  • Visión por computador: Mejora la calidad de imagen en escenarios como reconocimiento facial y de vehículos, aumentando la precisión de identificación.

  • Renderizado en tiempo real y videojuegos: Aumenta dinámicamente la resolución de la imagen en los videojuegos, mejorando la experiencia visual.

Enlaces relacionados

Repositorio de GitHub:https://github.com/prs-eth/thera

Sitio web del proyecto:https://therasr.github.io/

Artículo:https://arxiv.org/pdf/2311.17643

DEMO:https://huggingface.co/spaces/prs-eth/thera