Thera : agrandissement d'images à toute échelle tout en préservant la haute qualité
Qu'est-ce que Thera ?
Thera est une méthode de super-résolution basée sur les champs thermiques neuronaux, capable d'obtenir un agrandissement d'images sans perte et sans aliasing. Grâce à son modèle d'observation physique intégré, elle garantit la génération d'images de haute qualité à n'importe quel facteur d'agrandissement, et convient à des domaines tels que l'amélioration d'images, la mise en haute définition de vidéos, l'imagerie médicale et la vidéosurveillance. Thera a été développé conjointement par l'École polytechnique fédérale de Zurich (ETH Zurich) et l'Université de Zurich.

Principe de fonctionnement de Thera
Thera utilise un hyper-réseau pour estimer les paramètres des champs thermiques neuronaux locaux au niveau du pixel. Grâce à des composants appris de manière globale et à un mécanisme d'activation thermique, il ajuste les détails de l'image en fonction de la fréquence et du rapport d'agrandissement cible, pour finalement générer des champs neuronaux locaux continus qui sont rastérisés en sortie.

Caractéristiques et fonctionnalités de Thera
Super-résolution à n'importe quelle échelle : Thera prend en charge l'agrandissement d'images à n'importe quelle échelle et permet d'ajuster librement le rapport d'agrandissement selon les besoins.
Sans aliasing : grâce à son modèle d'observation physique intégré, Thera garantit dès sa conception un anticrénelage correct, évitant ainsi le flou des bords et les effets d'escalier couramment observés lors de l'agrandissement des images.
Champs thermiques neuronaux : utilisation d'un hyper-réseau pour estimer les paramètres des champs thermiques neuronaux locaux au niveau du pixel, avec des composants appris globalement et un mécanisme d'activation thermique qui ajustent les détails de l'image en fonction de la fréquence et du rapport d'agrandissement cible.
Champs neuronaux locaux continus : les champs neuronaux locaux continus générés permettent des transitions d'images fluides, évitant les discontinuités pouvant apparaître avec les méthodes traditionnelles.
Reconstruction d'images de haute qualité : performances excellentes sur plusieurs benchmarks de super-résolution, avec préservation d'un plus grand nombre de détails de l'image tout en évitant un lissage excessif.
Calcul et échantillonnage efficaces : grâce à des techniques de combinaison linéaire et de rastérisation, Thera peut générer efficacement l'image finale à un taux d'échantillonnage approprié, répondant à différents besoins de résolution.
Scénarios d'application de Thera
Amélioration d'images et de vidéos : améliorer la netteté des images et vidéos basse résolution, applicable à la restauration de vieilles photos, à la mise en haute définition de vidéos, etc.
Imagerie médicale : augmenter la résolution des images médicales (telles que CT, IRM) pour faciliter un diagnostic plus précis.
Vidéosurveillance : renforcer les détails des vidéos de surveillance pour faciliter l'identification et le suivi.
Imagerie satellite : améliorer la résolution des images satellite pour la surveillance environnementale et l'analyse de l'information géographique.
Vision par ordinateur : améliorer la qualité des images dans des scénarios tels que la reconnaissance faciale et la reconnaissance de véhicules, augmentant ainsi la précision de la reconnaissance.
Rendu en temps réel et jeux vidéo : améliorer dynamiquement la résolution des images de jeu pour une meilleure expérience visuelle.
Liens connexes
Dépôt GitHub :https://github.com/prs-eth/thera
Page du projet :https://therasr.github.io/
Article :https://arxiv.org/pdf/2311.17643
DÉMO :https://huggingface.co/spaces/prs-eth/thera
Assistant scénario▸
Apps AI
Actualités AI 