Stable Virtual Camera: 단 한 장의 이미지로 360도 회전하는 3D 영상 생성 232

Stable Virtual Camera란 무엇인가요?

Stable Virtual Camera는 Stability AI에서 출시한 NVS용 다중 시점 확산 모델입니다. 임의의 개수의 입력 시점과 해당 카메라 매개변수를 기반으로 대상 카메라 시점에서의 새로운 이미지를 생성할 수 있습니다. 모든 카메라가 하나의 궤적을 형성할 때, 생성된 시점은 3D적으로 일관성 있고 시간적으로 매끄러우며, 이름에서 알 수 있듯이 "안정적인"无缝한 궤적 비디오를 생성할 수 있습니다.

Stable Virtual Camera 기능

• 다중 시점 입력: 1장부터 32장까지의 입력 이미지를 수용하며, 특히 대규모 장면을 처리할 때 입력 시점이 늘어날수록 성능이 향상됩니다.

• 유연한 이미지 해상도: 모델은 576×576 정사각형 이미지만으로 학습되었지만, 제로샷 방식으로 다양한 가로 세로 비율의 대상 시점을 생성할 수 있습니다.

• 장시간 비디오 생성 및 폐루프 일관성: 최대 1000 프레임 길이의 비디오를 생성할 수 있으며, 카메라가 동일한 위치로 돌아왔을 때도 3D 일관성을 유지합니다.

• 샘플링 다양성: 희소한 입력 시점이 주어졌을 때 시점 합성의 불확실성을 포착하고 다양한 가능한 장면을 생성할 수 있습니다.

• 벤치마크: 다양한 데이터셋과 설정에서 NVS 방법을 평가하기 위한 종합적인 벤치마크를 구축했습니다. Stable Virtual Camera는 새로운 최고 성능을 달성했습니다.

Stable Virtual Camera 응용 분야

• 광고 및 마케팅: 매력적인 제품 쇼케이스 비디오를 빠르게 생성합니다.

• 콘텐츠 제작: 아티스트와 디자이너가 정적 이미지를 동적 비디오로 변환할 수 있도록 지원합니다.

• 교육 및 훈련: 교재의 정적 삽화를 3D 비디오로 변환하여 학습 경험을 향상시킵니다.

• 디지털 영화 및 3D 애니메이션: 영화 및 비디오 제작에 새로운 가능성을 제공합니다.

Stable Virtual Camera 사용 방법

1. 코드 및 모델 획득

• 코드: GitHub에서 코드를 클론합니다. 링크는 글 끝부분을 참조하세요.

• 모델 가중치: Hugging Face에서 모델 파일을 다운로드합니다. 다운로드 링크는 글 끝부분을 참조하세요.

2. 의존성 설치

다음 명령어를 실행하여 필요한 의존성을 설치합니다:

pip install -r requirements.txt

3. 실행 방법

• 대화형 사용 (Gradio 데모)

Gradio 데모 시작:

python gradio_demo.py

그래픽 인터페이스를 통해 이미지를 업로드하고 매개변수를 설정하여 3D 비디오를 생성합니다.

• 명령줄 사용 (CLI)

명령줄을 사용하여 실행:

python demo.py --data_path  --output_path  --camera_path

예시:

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. 입력 및 출력

• 입력: 1장부터 32장까지의 2D 이미지를 지원하며, 카메라 매개변수를 제공해야 합니다.

• 출력: 다양한 가로 세로 비율(예: 1:1, 9:16, 16:9)의 3D 비디오를 생성하며, 최대 1000 프레임을 지원합니다.

GitHub 코드 저장소:https://github.com/Stability-ai/stable-virtual-camera

Hugging Face 모델 페이지:https://huggingface.co/stabilityai/stable-virtual-camera

프로젝트 홈페이지:https://stable-virtual-camera.github.io/

논문:https://arxiv.org/abs/2503.14489