Boximator：動画合成のための豊かで制御可能な動作生成 298

Boximatorはバイトダンスが発表した動画編集ツールであり、ユーザーは簡単な操作で生成動画内の主体の動きの軌跡を制御することができます。物体はユーザーが描いた位置や形状、軌跡に従って厳密に動作します。このツールの革新点は直感的なインタラクション方式にあり、動かしたい物体を選択した後、最終的な位置や動きの軌跡を描けば、描いた位置や軌跡に従って厳密に動きます。Runwayの動きブラシと比較すると、Boximatorは物体の動きの最終位置をより正確に制御できます。

Boximator論文：https://arxiv.org/abs/2402.01566

Boximatorデモ：https://boximator.github.io/#Demo

Boximatorプロジェクト：https://boximator.github.io/

Boximatorの主な機能：

• 軌跡制御：ユーザーは囲み選択によって、動画内の主体の動きの軌跡を簡単かつ直感的に設定できます。

• 複数主体のサポート：Boximatorはユーザーが複数の主体を同時に囲み選択し、それぞれに異なる動きの軌跡を設定することをサポートします。

• ルートカスタマイズ：基本的なポイントツーポイントの移動に加えて、動画内の主体に具体的な移動ルートを設定することもできます。

• プラグイン互換性：BoximatorはSD動画モデルと互換性があり、プラグインとして使用することで動画編集の柔軟性と多様性を向上させます。

• ユーザーフレンドリー：Boximatorの操作は簡単かつ直感的であり、複雑な動画編集の知識がなくても、ユーザーは動画コンテンツを制御できます。
  

• 高い互換性：現在人気のSD動画モデルと互換性があり、プラグインとして提供することでより広範な応用の可能性を提供します。

• 革新的なインタラクション：革新的な囲み選択のインタラクション方式により、動画編集がより直感的かつ便利になります。

Boximatorの応用シーン：

• 動画コンテンツ制作：動画制作者にとって、Boximatorは動的な動画を制作する新しい手段を提供します。

• アニメーション制作：アニメ制作者にとって、人や物の動きの軌跡設計プロセスを簡素化できます。

• 教育用デモ：教育分野では、教師がこのツールを使って直感的な動的デモ教材を作成できます。

Boximatorの使用方法：

バイトダンスが発表した方法で、まず画像内の主体を囲み、次に動かしたい位置を囲むことで、主体が起点から終点まで移動する動画を生成できます。移動ルートの設定や、複数主体の囲み選択にも対応しています。SD動画モデルと互換性があり、プラグインとしても使用できます。

Boximatorの概要：

我々はBoximatorを提案します。これは精密な動き制御のための新しい手法です。Boximatorは2つの制約メカニズムを採用しています：ハードボックス（hard box）とソフトボックス（soft box）です。

ユーザーはハードボックスを利用して、動画の特定のフレーム（条件フレームと呼ぶ）の特定のオブジェクトを選択し、これら2つの制約方式を通じて、そのオブジェクトの将来の画面における位置、形状、または動きの軌跡を大まかに、あるいは厳密に指定することができます。Boximatorは既存の動画合成モデルの追加コンポーネントとして機能します。訓練過程において、元のモデルの知識を保持するため、我々は元の重みを凍結し、制御モジュールのみを訓練することを選択しました。

訓練過程の課題を解決するため、我々は革新的な自己追跡技術を導入しました。これにより、囲み選択されたオブジェクトとその関連付けの学習プロセスが大幅に簡素化されました。

実験により、Boximatorは動画品質（すなわちFVDという動画品質評価基準）において業界をリードするレベルに達しており、2つのベースモデルと比較して向上しており、囲み選択制約を導入した後はさらに効果が強化されることが証明されました。動き制御におけるその強力な能力は、境界ボックス整列指標の顕著な向上によって検証されています。

評価では、ユーザーがBoximatorが生成した動画効果をベースモデルの出力よりも好むことも示されています。