Ev-DeblurVSR：動画のぼけ除去と超解像度向上を実現するツール 152

Ev-DeblurVSRとは？

Ev-DeblurVSRは、イベントデータを組み合わせることでぼやけた動画の超解像再構成効果を強化する技術です。中国科学技術大学、合総合性国家科学センター人工知能研究院、シンガポール国立大学などの機関によるもので、動画のぼやけを除去しながら動画の解像度を向上させることができます。2025年のAAai会議で関連成果が発表されました。

Ev-DeblurVSRの機能

• 動画ぼやけ除去：動画内のぼやけ問題を解決でき、モーションブラーや手ぶれによるものに関わらず、動画を鮮明にすることができます。
• 動画超解像：低解像度のぼやけた動画を高解像度の鮮明な動画に変換でき、最大4倍の解像度向上をサポートします。
• リアルタイム処理：画像や動画のぼやけ除去をリアルタイムで処理でき、即時の効果が必要なシーンに適しています。

Ev-DeblurVSRの技術ハイライト

• イベントカメラデータの融合：イベントカメラのデータを活用しており、このカメラは光の変化の瞬間を捉えて、より正確な時間情報を提供します。
• 双方向特徴ぼやけ除去モジュール（RFD）：フレーム内イベントの動作情報を利用してぼやけを除去すると同時に、グローバルシーンのコンテキストを組み合わせて効果を強化します。
• ハイブリッド変形可能アラインモジュール（HDA）：フレーム間イベント情報とオプティカルフローを組み合わせ、動作推定の精度を向上させます。
• 性能最適化：実データテストにおいて、Ev-DeblurVSRは従来の最高手法であるFMA-Netよりも精度が高く（+2.59dB）、速度も7.28倍速いです。

Ev-DeblurVSRの応用シナリオ

• 動画監視：カメラのぶれやその他の要因によって生じたぼやけ動画をクリアにし、監視映像をより鮮明にすることができます。
• モーションキャプチャ：スポーツ分析、バーチャルリアリティなどの分野で、高解像度動画のニーズをサポートします。
• 映画ポストプロダクション：古い動画素材の修復や強化が可能です。

よくある質問

問：Ev-DeblurVSRネットワークは、他のイベントベースのBVSR手法と比較して、どのような点で優れていますか？

答：Ev-DeblurVSRは、相互的特征ぼやけ除去モジュールとハイブリッド変形可能アラインモジュールを通じて、フレームとイベント情報の融合、および時間的一貫性の強化をより効果的に行います。GoProデータセットでは、PSNR値は32.51に達し、EFNet + EGVSRの23.53など、他のイベントベースの手法を上回っています。実データでは、FMA-Netと比較して、精度が2.59dB向上し、速度が7.28倍速くなっています。

問：相互的特征ぼやけ除去モジュールは、フレーム特徴のぼやけ除去とイベント特徴の強化を具体的にどのように実現していますか？

答：相互的特征ぼやけ除去モジュールは、フレーム内イベントの動き情報を利用してフレーム特徴のぼやけ除去を行うと同時に、フレームのグローバルシーンコンテキストを活用してイベント特徴を強化し、両者の情報の効果的な融合と相互向上を実現します。具体的な実装には、フレームとイベントの特徴抽出やインタラクティブ処理などの操作が含まれます。

問：ハイブリッド変形可能アラインモジュールにおいて、フレーム間イベントとオプティカルフローの補完的な動き情報は、どのように連携して動き推定を改善しますか？

答：ハイブリッド変形可能アラインモジュールは、フレーム間イベントとオプティカルフローの補完的な動き情報を十分に活用し、两者の動き情報を融合・補完計算することで、変形可能アライメントプロセスにおいて物体の動きをより正確に推定し、時間的一貫性を強化します。

プロジェクトホームページ：https://dachunkai.github.io/ev-deblurvsr.github.io/

論文：https://arxiv.org/pdf/2504.13042

Github：https://github.com/DachunKai/Ev-DeblurVSR