Stable Virtual Camera: создание 3D-видео с вращением на 360° из одного изображения 230

小编 · 2025-03-20

Stable Virtual Camera — это многовидовая диффузионная модель для NVS от Stability AI. Она способна генерировать изображения с целевых ракурсов камеры на основе любого числа входных видов и соответствующих параметров камеры. Когда камеры формируют непрерывную траекторию, генерируемые виды согласованы в 3D, плавны во времени и, как и обещает название, «стабильны», создавая бесшовные видеоролики с траекторией.

Stable Virtual Camera: создание 3D-видео с вращением на 360° из одного изображения

Что такое Stable Virtual Camera?

Stable Virtual Camera — это модель многоракурсной диффузии для NVS, представленная Stability AI. Она способна генерировать новые изображения с целевого ракурса камеры на основе произвольного количества входных ракурсов и соответствующих параметров камеры. Когда все камеры образуют траекторию, сгенерированные ракурсы являются согласованными в 3D, плавными во времени и, как следует из названия, «стабильными», позволяя создавать бесшовные видео с траекторией.

Stable Virtual Camera：使用一张图片，可以生成360度旋转的3D视频.webp

Функции Stable Virtual Camera

Множество входных ракурсов: принимает от 1 до 32 входных изображений, при этом производительность улучшается с увеличением количества ракурсов, особенно при обработке больших сцен.
Гибкое разрешение изображений: хотя модель обучена только на квадратных изображениях 576×576, она способна генерировать целевые ракурсы с различными соотношениями сторон в режиме zero-shot.
Генерация длинных видео и замкнутая согласованность: способна генерировать видео длительностью до 1000 кадров и сохранять 3D-согласованность при возвращении камеры в ту же позицию.
Разнообразие выборки: при заданных разреженных входных ракурсах способна улавливать неопределённость синтеза ракурсов и генерировать различные возможные сцены.
Бенчмарк: создан комплексный бенчмарк для оценки методов NVS на различных наборах данных и в различных условиях. Stable Virtual Camera достигает нового лучшего результата.

Применение Stable Virtual Camera

Реклама и маркетинг: быстрое создание привлекательных видео с демонстрацией продуктов.
Создание контента: помогает художникам и дизайнерам превращать статичные изображения в динамичные видео.
Образование и обучение: преобразует статичные иллюстрации из учебных материалов в 3D-видео, улучшая процесс обучения.
Цифровое кино и 3D-анимация: открывает новые возможности для кинопроизводства.

Как использовать Stable Virtual Camera

1. Получение кода и модели

Код: клонируйте код с GitHub. Ссылка в конце статьи.
Веса модели: загрузите файлы модели с Hugging Face. Ссылка для скачивания в конце статьи.

2. Установка зависимостей

Выполните следующую команду для установки необходимых зависимостей:

pip install -r requirements.txt

3. Способы запуска

Интерактивное использование (демо Gradio)

Запуск демо Gradio:

python gradio_demo.py

Загрузите изображения и настройте параметры через графический интерфейс для генерации 3D-видео.

Использование через командную строку (CLI)

Запуск через командную строку:

python demo.py --data_path  --output_path  --camera_path

Пример:

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. Входные и выходные данные

Входные данные: поддерживается от 1 до 32 2D-изображений, требуется указать параметры камеры.
Выходные данные: генерируются 3D-видео с различными соотношениями сторон (например, 1:1, 9:16, 16:9), поддерживается длина до 1000 кадров.

Репозиторий кода на GitHub:https://github.com/Stability-ai/stable-virtual-camera

Страница модели на Hugging Face:https://huggingface.co/stabilityai/stable-virtual-camera

Домашняя страница проекта:https://stable-virtual-camera.github.io/

Статья:https://arxiv.org/abs/2503.14489