Stable Virtual Camera：1枚の写真から360度回転する3D動画を生成 240

Stable Virtual Cameraとは？

Stable Virtual Cameraは、Stability AIが発表したNVS用のマルチビュー拡散モデルです。任意の数の入力視点とそれに対応するカメラパラメータから、目的のカメラ視点における新しい画像を生成することができます。すべてのカメラが軌道をなす場合、生成される視点は3D的に一貫性があり、時間的に滑らかで、その名が示す通り「安定」しており、シームレスな軌道の動画を生成できます。

Stable Virtual Cameraの機能

• マルチビュー入力：1枚から32枚までの入力画像を受け付け、入力視点が増えるほど、特に大規模なシーンの処理において性能が向上します。

• 柔軟な画像解像度：モデルは576×576の正方形画像でのみ学習されていますが、ゼロショットで異なるアスペクト比の目的視点を生成できます。

• 長尺動画生成とループ一貫性：最大1000フレームの動画を生成でき、カメラが同じ位置に戻った際にも3D一貫性を維持します。

• サンプリングの多様性：スパースな入力視点が与えられた場合、視点合成の不確実性を捉え、異なる可能なシーンを生成できます。

• ベンチマーク：異なるデータセットや設定下でNVS手法を評価するための包括的なベンチマークを確立しました。Stable Virtual Cameraは新たな最高性能を達成しています。

Stable Virtual Cameraの応用

• 広告とマーケティング：魅力的な商品紹介動画を迅速に生成します。

• コンテンツ制作：アーティストやデザイナーが静止画像を動的動画へ変換するのを支援します。

• 教育とトレーニング：教材中の静止画イラストを3D動画に変換し、学習体験を向上させます。

• デジタルシネマと3Dアニメーション：映像制作に新たな可能性を提供します。

Stable Virtual Cameraの使用方法

1. コードとモデルの取得

• コード：GitHubからコードをクローンしてください。リンクは記事末尾にあります。

• モデル重み：Hugging Faceからモデルファイルをダウンロードしてください。ダウンロードリンクは記事末尾にあります。

2. 依存関係のインストール

以下のコマンドを実行して必要な依存関係をインストールします：

pip install -r requirements.txt

3. 実行方法

• インタラクティブ使用（Gradioデモ）

Gradioデモを起動します：

python gradio_demo.py

グラフィカルインターフェースから画像をアップロードし、パラメータを設定して3D動画を生成します。

• コマンドライン使用（CLI）

コマンドラインで実行します：

python demo.py --data_path  --output_path  --camera_path

例：

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. 入力と出力

• 入力：1枚から32枚までの2D画像に対応しており、カメラパラメータの提供が必要です。

• 出力：異なるアスペクト比（例：1:1、9:16、16:9）の3D動画を生成し、最大1000フレームまで対応します。

GitHubコードリポジトリ：https://github.com/Stability-ai/stable-virtual-camera

Hugging Faceモデルページ：https://huggingface.co/stabilityai/stable-virtual-camera

プロジェクトホームページ：https://stable-virtual-camera.github.io/

論文：https://arxiv.org/abs/2503.14489