ReCamMaster: 단일 영상에서 새로운 시점과 모션 궤적을 생성하는 프레임워크 128

ReCamMaster란 무엇인가요?

ReCamMaster는 저장대학교(浙江大学), 콰이쇼우 테크(KwaiVGI/快手科技), 홍콩 중문대학교 및 화중과기대학교(华中科技大学) 연구팀이 공동 개발한, 단일 비디오로부터 새로운 시점 및 카메라 움직임 궤적의 영상을 생성하는 프레임워크입니다. 카메라 궤적을 재정의하여 단일 비디오에서 새로운 시점과 움직임 궤적을 가진 영상 콘텐츠를 생성할 수 있습니다. 이 기술의 핵심은 사전 학습된 텍스트-투-비디오 생성 모델을 활용하는 것과, 정교하게 설계된 비디오 조건 메커니즘을 통해 고품질 비디오 재렌더링을 구현하는 데 있습니다.

ReCamMaster 기능 특징

• 카메라 궤적 제어: 평행 이동(pan), 회전(tilt), 줌(zoom) 등 다양한 복합 궤적을 지원하며, 사용자가 카메라 움직임을 직접 정의할 수 있습니다.

• 고품질 비디오 생성: 비디오의 동적 동기성과 다중 프레임 일관성을 유지하여 고품질 영상을 생성합니다.

• 대규모 데이터셋 지원: Unreal Engine 5로 구축된 다중 카메라 동기화 비디오 데이터셋을 사용하며, 다양한 장면과 카메라 움직임을 포괄합니다.

• 혁신적인 비디오 조건 메커니즘: 프레임 차원의 조건 결합(condition concatenation) 기술을 통해 생성된 비디오의 품질을 크게 향상시킵니다.

ReCamMaster 활용 시나리오

• 비디오 안정화: 흔들리는 불안정한 비디오를 매끄러운 영상으로 변환하면서 원래의 장면과 동작을 보존합니다.

• 비디오 초해상도 및 아웃페인팅(확장): 비디오 해상도와 시야 범위를 향상시킵니다.

• 자율 주행 및 로봇 비전: 다중 시점 데이터 증강을 제공하여 모델의 일반화 능력을 강화합니다.

• 비디오 제작 및 후반 작업: 비디오의 카메라 궤적을 재정의하여 새로운 시각적 효과를 창조합니다.

ReCamMaster 사용 방법

1. 비디오 입력: 단일 시점의 입력 비디오를 제공합니다.

2. 궤적 선택: 카메라 궤적을 선택하거나 직접 정의합니다(예: 평행 이동, 회전, 줌 등).

3. 비디오 생성: 시스템은 정의된 궤적에 따라 새로운 시점의 영상을 생성하며, 결과는 이메일로 발송됩니다.

4. 일괄 처리: 일괄 처리 또는 비교 테스트가 필요한 경우 프로젝트 팀에 문의하시기 바랍니다(jianhongbai@zju.edu.cn).

GitHub 저장소:https://github.com/KwaiVGI/ReCamMaster

프로젝트 홈페이지:https://jianhongbai.github.io/ReCamMaster/

논문:https://arxiv.org/abs/2503.11647