SketchVideo：線画ベースの制御可能な動画生成・編集手法 73

SketchVideoとは？

SketchVideoは、中国科学院大学、香港科技大学、Kuaishou Klingチームの研究者によって提案された、線画に基づく制御可能な動画生成・編集手法のオープンソースプロジェクトです。インテリジェントな動作予測、マルチモーダル制御、リアルタイムレンダリングという3つの技術により、アニメーション制作を容易にしています。このプロジェクトはマーケティング、教育、個人のクリエイティブプレゼンテーションなどの分野で有用であり、観客を引きつけ、共感を生み出し、新しい動画形式の代表例となっています。

SketchVideoの機能特徴

• 動画生成：ユーザーは単一フレームまたは2フレームの線画を提供し、テキストプロンプトと組み合わせるだけで、SketchVideoが高品質な動画を生成します。例えば、簡単な動物の輪郭線画を描き、「森の中を走る」というテキスト説明を加えると、その動物が森の中を走る動画が生成されます。

• 動画編集：実際の動画が与えられた後、ユーザーは編集領域を指定し、線画を描いて部分的に修正することができます。例えば、人物の動画で、髪型を修正すると、新しく生成された髪型は人物の頭の動きに追従して自然に変化します。

• 動的制御：動作の補間と外挿をサポートしており、ユーザーは異なるキーフレームの線画を描くことで、物体の動作状態を制御できます。

• 細部の保持：動画編集時に、未編集領域の細部を保持し、編集後の動画が視覚的に自然で一貫性のあるものになるようにします。

• 効率的な生成：メモリ最適化技術を採用しており、高品質な動画を高速に生成します。例えば、SketchGenモデルでは、A100 GPU上で単一フレームの動画を生成するのに約95秒かかります。

SketchVideoの技術原理

• スケッチ条件ネットワーク：DiT動画生成モデルに基づき、専用のスケッチ条件ネットワークを設計します。このネットワークには複数のスケッチ制御ブロックが含まれており、スキップされたDiTブロックの残差特徴を予測し、制御信号を異なる階層の特徴に注入します。

• フレーム間アテンション機構：全フレームの隠れ特徴と制御フレームの隠れ特徴の関係を計算することで、キーフレーム上のスケッチ条件を全動画フレームに伝播させ、スケッチ特徴の時空間伝播を実現します。

• 動画挿入モジュール：動画編集タスクにおいて、このモジュールは入力スケッチと元動画との関係を分析し、元動画と空間的・時間的に一貫性のある新しいコンテンツを生成します。

• 潜在融合技術：推論過程では、DDIM反転に基づいて入力動画のノイズ潜在コードを生成します。未編集領域ではこれらの潜在コードを置換し、元動画の詳細を保持します。

• ハイブリッド学習戦略：画像データと動画データを組み合わせて学習します。まず画像と動画データを用いて収束を加速させ、動画データが限られている問題を解決します。その後、動画データを用いて時間的な一貫性をさらに最適化します。

SketchVideoの優位性

• 創作门槛の低下：一般ユーザーが専門的な知識やスキルを必要とせず、スケッチとテキストだけで簡単に動画を作成でき、誰もが持つ創作の可能性を引き出します。

• 細部の精密な制御：スケッチ条件ネットワークが異なる階層の特徴制御信号を予測・注入することで、物体の形状や位置からシーン全体のレイアウトに至るまで、あらゆる細部を繊細に描绘・表現できます。

• 高效で便捷：DiTベースの動画生成モデルを採用し、スケッチ制御ブロックとフレーム間アテンション機構を革新的に導入することで、高品質な出力を保証しつつメモリ最適化を実現し、動画を高速に生成して創作時間を節約します。

SketchVideoの応用シーン

• 映画・テレビ制作：アニメーション動画を迅速に生成したり、映像クリップに特殊効果を追加したり、シーンを修正したりする操作に使用できます。

• ショート動画合成：クリエイターは手描きスタイルのアニメーションストーリー、クリエイティブ広告など、パーソナライズされたショート動画コンテンツを簡単に作成できます。

• バーチャルシミュレーション：バーチャルシーン構築において、線画から動的なバーチャル環境を迅速に生成し、ゲーム開発、バーチャルトレーニングなどの分野で活用できます。

プロジェクト情報

論文：https://arxiv.org/abs/2503.23284

プロジェクト公式サイト：http://geometrylearning.com/SketchVideo

GitHubリポジトリ：https://github.com/IGLICT/SketchVideo