Thera: Bildvergrößerung in beliebigen Maßstäben bei hoher Qualität 191

Was ist Thera?

Thera ist eine auf neuronalen Wärmefeldern basierende Super-Resolution-Methode, die eine verlustfreie Bildvergrößerung ohne Aliasing ermöglicht. Durch ein integriertes physikalisches Beobachtungsmodell stellt sie sicher, dass bei beliebigen Vergrößerungsfaktoren qualitativ hochwertige Bilder erzeugt werden, und eignet sich für Bereiche wie Bildverbesserung, Video-HD-Upscaling, medizinische Bildgebung sowie Sicherheitsüberwachung. Thera wurde gemeinsam von der ETH Zürich und der Universität Zürich entwickelt.

Funktionsweise von Thera

Thera verwendet ein Hypernetzwerk, um die Parameter der pixelweisen lokalen neuronalen Wärmefelder zu schätzen. Durch global gelernte Komponenten und einen Wärmeaktivierungsmechanismus werden Bilddetails entsprechend der Frequenz und dem gewünschten Vergrößerungsfaktor angepasst. Schließlich wird ein kontinuierliches lokales neuronales Feld erzeugt und rasterisiert ausgegeben.

Funktionsmerkmale von Thera

• Beliebige Skalen-Super-Resolution: Thera unterstützt Bildvergrößerungen in beliebigen Skalen und ermöglicht eine flexible Anpassung des Vergrößerungsfaktors nach Bedarf.

• Kein Aliasing: Durch das integrierte physikalische Beobachtungsmodell gewährleistet Thera ein korrektes Anti-Aliasing und vermeidet so die bei der Bildvergrößerung häufig auftretenden Randunschärfen und Treppenartefakte.

• Neuronale Wärmefelder: Ein Hypernetzwerk schätzt die Parameter der pixelweisen lokalen neuronalen Wärmefelder. Durch global gelernte Komponenten und einen Wärmeaktivierungsmechanismus werden Bilddetails entsprechend der Frequenz und dem Ziel-Vergrößerungsfaktor angepasst.

• Kontinuierliche lokale neuronale Felder: Die erzeugten kontinuierlichen lokalen neuronalen Felder ermöglichen sanfte Bildübergänge und vermeiden die bei herkömmlichen Verfahren möglicherweise auftretenden Diskontinuitäten.

• Hochwertige Bildrekonstruktion: Thera erzielt in verschiedenen Super-Resolution-Benchmark-Tests hervorragende Ergebnisse, bewahrt mehr Bilddetails und vermeidet gleichzeitig übermäßige Glättung.

• Effiziente Berechnung und Abtastung: Durch lineare Kombination und Rasterisierungstechniken kann Thera bei geeigneten Abtastraten effizient endgültige Bilder erzeugen und ist somit für unterschiedliche Auflösungsanforderungen geeignet.

Anwendungsszenarien von Thera

• Bild- und Videoverbesserung: Steigerung der Schärfe von Bildern und Videos mit niedriger Auflösung, z. B. für die Restaurierung alter Fotos oder das HD-Upscaling von Videos.

• Medizinische Bildgebung: Erhöhung der Auflösung medizinischer Bilder (wie CT oder MRT) zur Unterstützung präziserer Diagnosen.

• Sicherheitsüberwachung: Verbesserung der Details in Überwachungsvideos, um Identifikation und Verfolgung zu erleichtern.

• Satellitenfernerkundung: Steigerung der Auflösung von Satellitenbildern für Umweltüberwachung und Geoinformationsanalyse.

• Maschinelles Sehen: Verbesserung der Bildqualität in Szenarien wie Gesichtserkennung oder Fahrzeugerkennung zur Steigerung der Erkennungsgenauigkeit.

• Echtzeit-Rendering und Spiele: Dynamische Erhöhung der Auflösung von Spielszenen zur Verbesserung der visuellen Effekte.

Verwandte Links

GitHub-Repository:https://github.com/prs-eth/thera

Projekt-Website:https://therasr.github.io/

Paper:https://arxiv.org/pdf/2311.17643

DEMO:https://huggingface.co/spaces/prs-eth/thera