Stable Virtual Camera : générez des vidéos 3D pivotant à 360° à partir d'une seule image 233

Qu'est-ce que Stable Virtual Camera ?

Stable Virtual Camera est un modèle de diffusion multi-vues pour la NVS (Novel View Synthesis) lancé par Stability AI. Il est capable de générer de nouvelles images sous une vue de caméra cible à partir d'un nombre quelconque de vues d'entrée et de leurs paramètres de caméra correspondants. Lorsque toutes les caméras forment une trajectoire, les vues générées sont cohérentes en 3D, fluides dans le temps, et comme son nom le suggère — « stables » — capables de produire des vidéos à trajectoire fluide et sans coupure.

Fonctionnalités de Stable Virtual Camera

• Entrée multi-vues : Accepte de 1 à 32 images en entrée, les performances s'améliorant avec l'augmentation du nombre de vues, en particulier pour les scènes de grande taille.

• Résolution d'image flexible : Bien que le modèle ait été entraîné uniquement sur des images carrées de 576×576, il est capable de générer en zero-shot des vues cibles avec différents rapports d'aspect.

• Génération de vidéos longues et cohérence de boucle : Capable de générer des vidéos pouvant atteindre 1000 images, tout en maintenant la cohérence 3D lorsque la caméra revient à la même position.

• Diversité d'échantillonnage : Lorsqu'on lui fournit des vues d'entrée clairsemées, le modèle est capable de capturer l'incertitude de la synthèse de vues et de générer différents scénarios possibles.

• Benchmark : Un benchmark complet a été établi pour évaluer les méthodes NVS sur différents jeux de données et configurations. Stable Virtual Camera atteint de nouvelles performances de pointe.

Applications de Stable Virtual Camera

• Publicité et marketing : Générer rapidement des vidéos attrayantes de présentation de produits.

• Création de contenu : Aider les artistes et les designers à transformer des images statiques en vidéos dynamiques.

• Éducation et formation : Transformer les illustrations statiques des supports pédagogiques en vidéos 3D pour enrichir l'expérience d'apprentissage.

• Cinéma numérique et animation 3D : Offrir de nouvelles possibilités pour la production cinématographique.

Comment utiliser Stable Virtual Camera

1. Obtenir le code et le modèle

• Code : Clonez le code depuis GitHub. Le lien se trouve à la fin de l'article.

• Poids du modèle : Téléchargez les fichiers du modèle depuis Hugging Face. Le lien de téléchargement se trouve à la fin de l'article.

2. Installer les dépendances

Exécutez la commande suivante pour installer les dépendances nécessaires :

pip install -r requirements.txt

3. Modes d'exécution

• Utilisation interactive (démo Gradio)

Lancez la démo Gradio :

python gradio_demo.py

Téléchargez des images via l'interface graphique et définissez les paramètres pour générer une vidéo 3D.

• Utilisation en ligne de commande (CLI)

Exécutez via la ligne de commande :

python demo.py --data_path  --output_path  --camera_path

Exemple :

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. Entrées et sorties

• Entrée : Prend en charge de 1 à 32 images 2D, avec les paramètres de caméra requis.

• Sortie : Génère des vidéos 3D avec différents rapports d'aspect (par exemple, 1:1, 9:16, 16:9), prenant en charge jusqu'à 1000 images.

Dépôt de code GitHub :https://github.com/Stability-ai/stable-virtual-camera

Page du modèle sur Hugging Face :https://huggingface.co/stabilityai/stable-virtual-camera

Page du projet :https://stable-virtual-camera.github.io/

Article scientifique :https://arxiv.org/abs/2503.14489