Stable Virtual Camera: 360-Grad-3D-Videos aus einem einzigen Bild erzeugen 229

小编 · 2025-03-20

Stable Virtual Camera ist ein Multi-View-Diffusionsmodell für NVS von Stability AI. Es kann Bilder aus Zielkamerawinkeln auf Basis einer beliebigen Anzahl von Eingabeansichten und den zugehörigen Kameraparametern erzeugen. Wenn die Kameras eine durchgehende Trajektorie bilden, sind die erzeugten Ansichten 3D-konsistent, zeitlich fließend und – wie der Name verspricht – „stabil", sodass nahtlose Trajektorie-Videos entstehen.

Stable Virtual Camera: 360-Grad-3D-Videos aus einem einzigen Bild erzeugen

Was ist Stable Virtual Camera?

Stable Virtual Camera ist ein von Stability AI veröffentlichtes Multi-View-Diffusionsmodell für NVS. Es kann aus einer beliebigen Anzahl von Eingabeperspektiven und den zugehörigen Kameraparametern neue Bilder aus der gewünschten Kameraperspektive erzeugen. Wenn alle Kameras eine Trajektorie bilden, sind die erzeugten Perspektiven in 3D konsistent, zeitlich gleichmäßig und – wie der Name schon sagt – „stabil". Es ermöglicht die Erzeugung nahtloser Trajektorien-Videos.

Stable Virtual Camera：使用一张图片，可以生成360度旋转的3D视频.webp

Funktionen von Stable Virtual Camera

Multi-View-Eingabe: Es können 1 bis 32 Eingabebilder verwendet werden, wobei die Leistung mit der Anzahl der Eingabeperspektiven steigt, insbesondere bei großen Szenen.
Flexible Bildauflösung: Obwohl das Modell nur mit quadratischen Bildern von 576×576 trainiert wurde, kann es Zielansichten mit unterschiedlichen Seitenverhältnissen auf Zero-Shot-Weise erzeugen.
Lange Videogenerierung und geschlossene Konsistenz: Es können Videos mit bis zu 1000 Frames erzeugt werden, und die 3D-Konsistenz bleibt erhalten, wenn die Kamera zur gleichen Position zurückkehrt.
Sampling-Vielfalt: Bei spärlichen Eingabeperspektiven kann die Unsicherheit der View-Synthese erfasst und verschiedene mögliche Szenarien generiert werden.
Benchmark: Es wurde ein umfassender Benchmark entwickelt, um NVS-Methoden in verschiedenen Datensätzen und Einstellungen zu bewerten. Stable Virtual Camera erreicht eine neue Bestleistung.

Anwendungen von Stable Virtual Camera

Werbung und Marketing: Schnelle Erstellung ansprechender Produktpräsentationsvideos.
Content-Erstellung: Unterstützung für Künstler und Designer, statische Bilder in dynamische Videos umzuwandeln.
Bildung und Training: Umwandlung statischer Illustrationen aus Lehrmaterialien in 3D-Videos zur Verbesserung des Lernerlebnisses.
Digitalfilm und 3D-Animation: Bietet neue Möglichkeiten für die Film- und Fernsehproduktion.

Verwendung von Stable Virtual Camera

1. Code und Modell beziehen

Code: Klonen Sie den Code von GitHub. Den Link finden Sie am Ende des Artikels.
Modellgewichte: Laden Sie die Modelldateien von Hugging Face herunter. Den Download-Link finden Sie am Ende des Artikels.

2. Abhängigkeiten installieren

Führen Sie den folgenden Befehl aus, um die erforderlichen Abhängigkeiten zu installieren:

pip install -r requirements.txt

3. Ausführungsarten

Interaktive Nutzung (Gradio-Demo)

Starten Sie die Gradio-Demo:

python gradio_demo.py

Laden Sie Bilder über die grafische Oberfläche hoch, stellen Sie die Parameter ein und erzeugen Sie 3D-Videos.

Befehlszeilennutzung (CLI)

Verwendung über die Befehlszeile:

python demo.py --data_path  --output_path  --camera_path

Beispiel:

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. Ein- und Ausgabe

Eingabe: Unterstützt 1 bis 32 2D-Bilder, wobei Kameraparameter angegeben werden müssen.
Ausgabe: Erzeugt 3D-Videos mit unterschiedlichen Seitenverhältnissen (z. B. 1:1, 9:16, 16:9) und unterstützt bis zu 1000 Frames.

GitHub-Code-Repository:https://github.com/Stability-ai/stable-virtual-camera

Hugging-Face-Modellseite:https://huggingface.co/stabilityai/stable-virtual-camera

Projekt-Website:https://stable-virtual-camera.github.io/

Paper:https://arxiv.org/abs/2503.14489