Stable Virtual Camera: genera vídeos 3D con rotación de 360 grados a partir de una sola imagen 235

¿Qué es Stable Virtual Camera?

Stable Virtual Camera es un modelo de difusión multivista para NVS lanzado por Stability AI. Es capaz de generar nuevas imágenes desde la perspectiva de una cámara objetivo a partir de cualquier número de vistas de entrada y sus parámetros de cámara correspondientes. Cuando todas las cámaras forman una trayectoria, las vistas generadas son consistentes en 3D, suaves en el tiempo y, como su nombre sugiere, "estables", capaces de generar vídeos de trayectorias sin interrupciones.

Funciones de Stable Virtual Camera

• Entrada multivista: puede aceptar de 1 a 32 imágenes de entrada, con un rendimiento que mejora a medida que aumenta el número de vistas, especialmente al manejar escenas grandes.

• Resolución de imagen flexible: aunque el modelo solo se entrena con imágenes cuadradas de 576×576, es capaz de generar vistas objetivo con diferentes relaciones de aspecto de forma zero-shot.

• Generación de vídeos largos con consistencia en bucle cerrado: puede generar vídeos de hasta 1000 fotogramas y mantener la consistencia 3D cuando la cámara regresa a la misma posición.

• Diversidad de muestreo: ante vistas de entrada dispersas, es capaz de capturar la incertidumbre en la síntesis de vistas y generar diferentes escenas posibles.

• Benchmark: establece un benchmark completo para evaluar métodos NVS en diferentes conjuntos de datos y configuraciones. Stable Virtual Camera alcanza un nuevo rendimiento óptimo.

Aplicaciones de Stable Virtual Camera

• Publicidad y marketing: genera rápidamente atractivos vídeos de展示 de productos.

• Creación de contenidos: ayuda a artistas y diseñadores a convertir imágenes estáticas en vídeos dinámicos.

• Educación y formación: convierte las ilustraciones estáticas de los materiales didácticos en vídeos 3D, mejorando la experiencia de aprendizaje.

• Cine digital y animación 3D: ofrece nuevas posibilidades para la producción audiovisual.

Cómo usar Stable Virtual Camera

1. Obtener el código y el modelo

• Código: clona el código desde GitHub. El enlace se encuentra al final del artículo.

• Pesos del modelo: descarga los archivos del modelo desde Hugging Face. El enlace de descarga se encuentra al final del artículo.

2. Instalar dependencias

Ejecuta el siguiente comando para instalar las dependencias necesarias:

pip install -r requirements.txt

3. Formas de ejecución

• Uso interactivo (demo Gradio)

Inicia la demo de Gradio:

python gradio_demo.py

Sube imágenes y configura los parámetros a través de la interfaz gráfica para generar vídeos 3D.

• Uso mediante línea de comandos (CLI)

Ejecuta usando la línea de comandos:

python demo.py --data_path  --output_path  --camera_path

Ejemplo:

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. Entrada y salida

• Entrada: admite de 1 a 32 imágenes 2D y requiere parámetros de cámara.

• Salida: genera vídeos 3D con diferentes relaciones de aspecto (como 1:1, 9:16, 16:9), con compatibilidad de hasta 1000 fotogramas.

Repositorio de código en GitHub:https://github.com/Stability-ai/stable-virtual-camera

Página del modelo en Hugging Face:https://huggingface.co/stabilityai/stable-virtual-camera

Página del proyecto:https://stable-virtual-camera.github.io/

Paper:https://arxiv.org/abs/2503.14489