Thera : agrandissement d'images à toute échelle tout en préservant la haute qualité 196

小编 ·

Thera : agrandissement d'images à toute échelle tout en préservant la haute qualité

Thera est une méthode de super-résolution basée sur des champs de chaleur neuronaux qui permet un agrandissement d'image sans aliasing et sans perte. Grâce à un modèle d'observation physique intégré, elle garantit des images de haute qualité à n'importe quel facteur d'agrandissement, applicable à l'amélioration d'images, à l'upscaling vidéo, à l'imagerie médicale, à la vidéosurveillance, etc. Thera est développé conjointement par l'ETH Zurich et l'Université de Zurich.

Thera : agrandissement d'images à toute échelle tout en préservant la haute qualité

Qu'est-ce que Thera ?

Thera est une méthode de super-résolution basée sur les champs thermiques neuronaux, capable d'obtenir un agrandissement d'images sans perte et sans aliasing. Grâce à son modèle d'observation physique intégré, elle garantit la génération d'images de haute qualité à n'importe quel facteur d'agrandissement, et convient à des domaines tels que l'amélioration d'images, la mise en haute définition de vidéos, l'imagerie médicale et la vidéosurveillance. Thera a été développé conjointement par l'École polytechnique fédérale de Zurich (ETH Zurich) et l'Université de Zurich.

Comparaison des résultats de Thera.webp

Principe de fonctionnement de Thera

Thera utilise un hyper-réseau pour estimer les paramètres des champs thermiques neuronaux locaux au niveau du pixel. Grâce à des composants appris de manière globale et à un mécanisme d'activation thermique, il ajuste les détails de l'image en fonction de la fréquence et du rapport d'agrandissement cible, pour finalement générer des champs neuronaux locaux continus qui sont rastérisés en sortie.

Principe de fonctionnement de Thera.jpg

Caractéristiques et fonctionnalités de Thera

  • Super-résolution à n'importe quelle échelle : Thera prend en charge l'agrandissement d'images à n'importe quelle échelle et permet d'ajuster librement le rapport d'agrandissement selon les besoins.

  • Sans aliasing : grâce à son modèle d'observation physique intégré, Thera garantit dès sa conception un anticrénelage correct, évitant ainsi le flou des bords et les effets d'escalier couramment observés lors de l'agrandissement des images.

  • Champs thermiques neuronaux : utilisation d'un hyper-réseau pour estimer les paramètres des champs thermiques neuronaux locaux au niveau du pixel, avec des composants appris globalement et un mécanisme d'activation thermique qui ajustent les détails de l'image en fonction de la fréquence et du rapport d'agrandissement cible.

  • Champs neuronaux locaux continus : les champs neuronaux locaux continus générés permettent des transitions d'images fluides, évitant les discontinuités pouvant apparaître avec les méthodes traditionnelles.

  • Reconstruction d'images de haute qualité : performances excellentes sur plusieurs benchmarks de super-résolution, avec préservation d'un plus grand nombre de détails de l'image tout en évitant un lissage excessif.

  • Calcul et échantillonnage efficaces : grâce à des techniques de combinaison linéaire et de rastérisation, Thera peut générer efficacement l'image finale à un taux d'échantillonnage approprié, répondant à différents besoins de résolution.

Scénarios d'application de Thera

  • Amélioration d'images et de vidéos : améliorer la netteté des images et vidéos basse résolution, applicable à la restauration de vieilles photos, à la mise en haute définition de vidéos, etc.

  • Imagerie médicale : augmenter la résolution des images médicales (telles que CT, IRM) pour faciliter un diagnostic plus précis.

  • Vidéosurveillance : renforcer les détails des vidéos de surveillance pour faciliter l'identification et le suivi.

  • Imagerie satellite : améliorer la résolution des images satellite pour la surveillance environnementale et l'analyse de l'information géographique.

  • Vision par ordinateur : améliorer la qualité des images dans des scénarios tels que la reconnaissance faciale et la reconnaissance de véhicules, augmentant ainsi la précision de la reconnaissance.

  • Rendu en temps réel et jeux vidéo : améliorer dynamiquement la résolution des images de jeu pour une meilleure expérience visuelle.

Liens connexes

Dépôt GitHub :https://github.com/prs-eth/thera

Page du projet :https://therasr.github.io/

Article :https://arxiv.org/pdf/2311.17643

DÉMO :https://huggingface.co/spaces/prs-eth/thera