RelightVid：ユーザーのテキスト説明に基づき動画に照明調整を行う 227

RelightVidとは？

RelightVidは動画のリライティング技術であり、IC Lightの動画版です。ユーザーが入力したテキスト説明、背景動画、HDR環境マップなどの条件に基づいて動画に照明調整を行い、さまざまな照明条件下でリアルな効果を実現します。特殊なモデルアーキテクチャとトレーニング方法により、動画の高品質なリライティングを実現すると同時に、動画フレーム間の一貫性を保ち、フリッカーやジャンプの発生を回避します。

RelightVidの機能

• テキスト条件によるリライティング：「木漏れ日など、斑驳した光と影」など、ユーザーがテキスト説明を入力すると、RelightVidは対応する照明条件下での動画効果をシミュレートします。

• 背景動画条件によるリライティング：背景動画を照明条件として使用し、前景オブジェクトの照明を動的に調整することで、前景と背景の照明を調和させます。

• HDR環境マップ条件によるリライティング：HDR環境マップを利用して照明を正確に制御し、高品質なリライティング効果を実現します。

• 全シーンリライティング：前景と背景の両方を同時にリライティングし、シーン全体を照明条件に合わせます。

• 前景保持リライティング：前景オブジェクトの照明を変更し、背景はそのまま保持します。前景オブジェクトを強調したいシーンに適しています。

RelightVidの技術原理

• 拡散モデルの拡張：事前学習済みの画像リライティング拡散モデル（IC-Lightなど）に基づき、動画入力をサポートするようアーキテクチャを拡張し、時間層を導入してフレーム間の時間依存性を捕捉し、リライティングの時間的一貫性を確保します。

• マルチモーダル条件の統合トレーニング：背景動画、テキストプロンプト、HDR環境マップを同時に条件として使用でき、エンコーダーによって条件をモデルに埋め込み、クロスアテンション機構に基づいて協調編集を実現します。

• 照明不変アンサンブル（Illumination-Invariant Ensemble, IIE）：入力動画の輝度を高め、予測ノイズを平均化することで、さまざまな照明条件下でのモデルのロバスト性を向上させ、反射率の変化を防ぎます。

• データ拡張パイプライン（LightAtlas）：実写動画と3Dレンダリングデータに基づいて高品質なリライティングデータペアを生成し、モデルに豊富な照明の事前知識を提供し、複雑な照明シーンへの適応能力を強化します。

利点と限界

利点：

• 時間的一貫性：時間層を導入することで、動画リライティングの時間的一貫性を効果的に保証し、フリッカーやジャンプなどの問題を回避します。

• マルチモーダル条件制御：複数のモーダル条件による制御をサポートしており、ユーザーはニーズに応じて照明効果を柔軟に調整できます。

• 高品質なリライティング効果：複数の技術により高品質なリライティング効果が生成され、動画がよりリアルになります。

限界：

• 計算リソースの需要：ディープラーニングモデルに基づいているため、実行には大量の計算リソースが必要であり、低スペックデバイスでの応用が制限されます。

• 複雑なシーンへの対応能力：非常に複雑なシーンを処理する場合、不正確または不自然な照明効果が現れる可能性があります。

• ユーザー知識の要求：ユーザーはその機能を活用するために、ある程度の動画編集と照明に関する知識を備えている必要があります。

RelightVidの使用方法

• RelightVidのオンラインデモに直接アクセスできます：https://huggingface.co/spaces/aleafy/RelightVid。

• デモページで動画をアップロードし、必要に応じてテキスト説明を入力したり、背景動画やHDR環境マップなどの条件を選択したりすることで、リライティング処理を実行できます。

よくある質問

1. RelightVidと従来の動画リライティング手法の核心的な違いは何ですか？

答：従来の手法は主に画像編集モデルを直接拡張したものであり、動画の時間的整合性のモデリングが欠けており、テキストや動的照明などのマルチモーダル入力を融合することが困難です。RelightVidは、学習可能な時間層と照明クロスアテンション機構を挿入することで、フレーム間の照明依存関係を明示的に捕捉し、テキスト、背景動画、HDRマップなどの複数条件入力をサポートすることで、より自然な動的照明編集を実現します。

2. データセット構築において、現実性と多様性のバランスをどのように取っていますか？

答：デュアルソースのデータ拡張によって実現しています：

野生動画が現実的な照明シーン（キッチンの窓からの光、雨夜の街灯など）を提供し、現実性を確保します；

3DレンダリングデータはランダムなHDRマップとカメラ軌跡により多様な照明の組み合わせ（溶岩の火光、ソフトボックスからの柔光など）を生成し、モデルの汎化能力を強化します。

両者を組み合わせることで、データセットには現実的な事例が含まれるだけでなく、従来の手法では取得困難な極端な照明条件もカバーしています。

3. 技術実装において、リライティング結果の時間的一貫性をどのように確保していますか？

答：動的HDR条件入力と時間層の二重メカニズムによって実現しています：

• 動的HDRマップが時系列入力として機能し、各フレームの照明パラメータ（強度、色など）のスムーズな変化を制約します；

• 時間層が拡散モデルのU-Netに導入され、フレーム間の特徴インタラクションを実現し、隣接するフレームで照明の急激な変化が発生するのを防ぎます。

• さらに、照明クロスアテンション機構がフレーム間で照明特徴をさらに伝達し、グローバルな一貫性を強化します。

プロジェクトリンク

プロジェクト公式サイト：https://aleafy.github.io/relightvid/

GitHubリポジトリ：https://github.com/Aleafy/RelightVid

arXiv論文：https://arxiv.org/pdf/2501.16330

オンライン体験 ：https://huggingface.co/spaces/aleafy/RelightVid