Thera：任意の倍率で高画質を維持しながら画像を拡大 198

Theraとは？

Theraは、ニューラル熱場に基づく超解像手法で、エイリアシングのない画像の无损拡大を実現します。内蔵の物理観測モデルにより、任意の倍率で高品質な画像生成を保証し、画像強調、映像の高画質化、医療画像、防犯監視などの分野に応用できます。Theraは、チューリッヒ連邦工科大学（ETH Zurich）とチューリッヒ大学によって共同で開発されました。

Theraの仕組み

Theraは、ハイパーネットワークを用いてピクセル単位の局所的なニューラル熱場のパラメータを推定します。グローバルに学習された成分と熱活性化メカニズムにより、周波数と目標拡大比率に応じて画像細部を調整し、最終的に連続的な局所ニューラル場を生成してラスタライズ出力します。

Theraの機能と特徴

• 任意スケールの超解像：Theraは任意のスケールでの画像拡大をサポートし、ニーズに応じて倍率を柔軟に調整できます。

• エイリアシングなし：内蔵の物理観測モデルにより、Theraは設計上正しいアンチエイリアス処理を保証し、画像拡大時によく見られるエッジのぼやけやジャギー現象を回避します。

• ニューラル熱場：ハイパーネットワークを用いてピクセル単位の局所的なニューラル熱場のパラメータを推定し、グローバルに学習された成分と熱活性化メカニズムにより、周波数と目標拡大比率に応じて画像細部を調整します。

• 連続的な局所ニューラル場：生成された連続的な局所ニューラル場により、なめらかな画像遷移を実現し、従来手法で発生しうる不連続性を回避します。

• 高品質な画像再構成：複数の超解像ベンチマークで優れた性能を発揮し、より多くの画像細部を保持しつつ過度な平滑化を回避します。

• 高効率な計算とサンプリング：線形結合とラスタライズ技術により、Theraは適切なサンプリングレートで効率的に最終画像を生成でき、さまざまな解像度のニーズに対応します。

Theraの応用シーン

• 画像・映像の強調：低解像度の画像や映像の鮮明度を向上させ、古い写真修復や映像の高画質化などに活用できます。

• 医療画像：CTやMRIなどの医療画像の解像度を向上させ、より正確な診断を支援します。

• 防犯監視：監視映像の細部を強化し、識別や追跡を容易にします。

• 衛星リモートセンシング：衛星画像の解像度を向上させ、環境モニタリングや地理情報分析に役立てます。

• マシンビジョン：顔認識や車両認識などのシーンにおける画像品質を向上させ、認識精度を高めます。

• リアルタイムレンダリングとゲーム：ゲーム画面解像度を動的に向上させ、視覚効果を改善します。

関連リンク

GitHubリポジトリ：https://github.com/prs-eth/thera

プロジェクトホームページ：https://therasr.github.io/

論文：https://arxiv.org/pdf/2311.17643

DEMO：https://huggingface.co/spaces/prs-eth/thera