StereoCrafter: Tencent가 개발한 2D 영상을 3D 영상으로 변환하는 오픈소스 프레임워크 130

StereoCrafter는 텐센트 ai 연구소에서 개발한 오픈소스 프레임워크로, 일반 2D 비디오를 몰입형 스테레오 3D 비디오로 변환할 수 있습니다.

StereoCrafter의 프레임워크는 두 가지 주요 단계로 구성됩니다: 깊이 기반 비디오 스플래팅 및 스테레오 비디오 인페인팅. 먼저, 깊이 추정(depth estimation)을 통해 입력된 단일 시점 비디오에서 깊이 정보를 추출하고, 이 정보를 활용하여 비디오의 워핑(warping)과 occlusion mask 생성을 수행합니다. 이어서, 스테레오 비디오 인페인팅 모델을 사용하여 워핑된 비디오의 빈 영역을 채우고, 이를 통해 우안 시점 비디오를 합성합니다. 이러한 방식은 생성된 3D 비디오의 품질을 높일 뿐만 아니라, 다양한 길이와 해상도의 비디오 입력에서도 유연성과 적응성을 보장합니다.

또한, StereoCrafter는 영화, 비디오 블로그, 3D 애니메이션 및 AI 생성 콘텐츠(AIGC) 비디오를 포함한 다양한 비디오 소스를 지원하여 그 활용 범위를 더욱 확장합니다.StereoCrafter는 특히 몰입형 경험 분야에서 증가하는 3D 콘텐츠 수요를 충족시키고, 사용자에게 보다 풍부한 시각적 경험을 제공할 수 있도록 설계되었습니다.

StereoCrafter의 주요 기능:

• 비디오 변환: StereoCrafter는 모든 2D 비디오를 고품질의 스테레오 3D 비디오로 변환할 수 있으며, 3D 안경 및 Apple Vision Pro 등 다양한 디스플레이 장치를 지원합니다.

• 깊이 추정: StereoCrafter는 깊이 추정 기술을 통해 비디오 내의 깊이 정보를 분석하여 사실적인 3D 효과를 생성합니다.

• 비디오 인페인팅: StereoCrafter는 스테레오 비디오 인페인팅 기능을 포함하여, 비디오 내의 occlusion과 기타 시각적 문제를 처리하여 고품질의 일관성 있는 비디오를 생성합니다.

• 다양한 포맷 지원: 생성된 비디오는 적청(red-blue), VR, 좌우(left-right) 포맷으로 출력할 수 있어, 다양한 시청 요구와 기기에 대응합니다.

• 고성능: StereoCrafter는 최적화되어 있어, 비디오를 빠르게 처리할 수 있습니다.

StereoCrafter 활용 시나리오

StereoCrafter는 영화, 비디오 블로그, 3D 애니메이션 및 AIGC 비디오 등 다양한 비디오 소스에 적용 가능하며, 3D 안경, Apple Vision Pro 및 3D 디스플레이 등의 장치에서 스테레오 효과를 구현할 수 있습니다.

• 영화 제작: 영화 및 비디오 제작에서 StereoCrafter는 창작자가 전통적인 2D 영화를 3D 버전으로 변환할 수 있도록 도와줍니다.

• 비디오 블로그 및 콘텐츠 제작: 콘텐츠 크리에이터는 StereoCrafter를 활용하여 자신의 2D 비디오 콘텐츠를 3D로 변환할 수 있습니다.

• 교육 및 훈련: 교육 분야에서 스테레오 비디오는 보다 몰입감 있는 학습 경험을 제공할 수 있습니다.

• 가상 현실(VR) 및 증강 현실(AR): StereoCrafter가 생성한 3D 비디오는 VR 및 AR 애플리케이션에 활용될 수 있습니다.

StereoCrafter를 사용하여 비디오를 변환하는 단계 및 방법:

1. 준비 단계

시작하기 전에 다음 사항을 준비하시기 바랍니다:

• 단안(monocular) 비디오 소재: 변환하고자 하는 2D 비디오를 선택하고, 비디오 품질이 요구 사항을 충족하는지 확인합니다.

• 소프트웨어 설치: StereoCrafter 공식 웹사이트에 접속하여 필요한 소프트웨어 또는 모델을 다운로드 및 설치합니다.

2. 깊이 추정

StereoCrafter의 깊이 추정 기능을 사용하여 비디오의 깊이 정보를 생성합니다. 이 단계는 2D 비디오를 3D 비디오로 변환하는 핵심 과정이며, 구체적인 단계는 다음과 같습니다:

• 비디오 소재를 StereoCrafter로 가져옵니다.

• 깊이 추정 알고리즘을 실행하여 비디오의 깊이 맵(depth map)을 생성합니다. 이러한 깊이 맵은 후속 3D 재구성에 사용됩니다.

3. 비디오 리워핑(Video Reprojection)

깊이 정보를 얻은 후, 비디오 리워핑 처리를 수행합니다:

• 깊이 정보를 기반으로 비디오를 리워핑하여, occlusion 정보를 추출함과 동시에 비디오 변환을 수행합니다.

• 이 단계는 변환 과정에서 사물의 occlusion 관계가 올바르게 처리되도록 보장합니다.

4. 스테레오 비디오 인페인팅

리워핑이 완료된 후, 스테레오 비디오 인페인팅을 수행합니다:

• 사전 학습된 stable video diffusion 모델을 사용하여 생성된 스테레오 비디오를 복원하고, 비디오의 품질과 일관성을 보장합니다.

• 이 단계는 발생할 수 있는 아티팩트(artifact)와 불연속적인 경계를 제거할 수 있습니다.

5. 출력 및 재생

• 마지막으로, 생성된 3D 비디오를 출력합니다:

• 다양한 3D 디스플레이 장치에서 재생할 수 있도록 적청, VR 또는 좌우 포맷 등 적합한 출력 포맷을 선택합니다.

• 생성된 비디오는 Apple Vision Pro 등 다양한 장치에서 재생하여 몰입형 시청 경험을 즐길 수 있습니다.

위의 단계를 통해 StereoCrafter를 사용하여 일반 2D 비디오를 고품질의 스테레오 3D 비디오로 성공적으로 변환할 수 있습니다.

StereoCrafter 프로젝트 홈페이지:https://stereocrafter.github.io/

Github 코드 저장소:https://github.com/TencentARC/StereoCrafter

ArXiv 기술 논문:https://arxiv.org/pdf/2409.07447