LucidDreamer: 단일 이미지로 경계 없는 3D 가우시안 스플래팅 장면 생성 124

VR 기기와 콘텐츠가 널리 사용됨에 따라 3D 장면 생성 기술에 대한 수요가 점점 더 보편화되고 있습니다. 그러나 기존 3D 장면 생성 모델은 사용하는 3D 스캔 데이터셋이 현실 세계와 거리가 멀기 때문에 대상 장면을 특정 영역으로 제한합니다. 이러한 한계를 해결하기 위해 우리는 기존 대규모 확산 기반 생성 모델의 강력한 기능을 충분히 활용하는 무영역 장면 생성 파이프라인인 LucidDreamer를 제안합니다.

LucidDreamer 프로젝트 주소:https://luciddreamer-cvlab.github.io/

우리의 LucidDreamer에는 꿈꾸기와 정렬이라는 두 가지 교대 단계가 있습니다.

먼저, 입력으로부터 다중 뷰 일관성 있는 이미지를 생성하기 위해 포인트 클라우드를 매번 이미지를 생성하기 위한 기하학적 참조로 설정합니다. 구체적으로, 포인트 클라우드의 일부를 원하는 뷰에 투영하고, 생성 모델을 사용한 인페인팅을 위한 가이드로 투영물을 제공합니다. 추정된 깊이 맵을 사용하여 그려진 이미지를 3D 공간으로 끌어올려 새로운 포인트를 구성합니다.

둘째, 새로운 포인트를 3D 장면에 통합하기 위해 새로 생성된 3D 장면의 각 부분을 조화롭게 통합하는 정렬 알고리즘을 제안합니다. 최종 3D 장면은 가우시안 스플래팅을 최적화하기 위한 초기 포인트가 됩니다. 이전의 3D 장면 생성 방법과 비교하여 LucidDreamer가 생성한 가우시안 스플래팅은 매우 상세하며 대상 장면의 영역에 제한이 없습니다.

LucidDreamer는 일련의 텍스트 프롬프트를 받아 장면을 생성하므로 세밀한 제어가 가능합니다.

CLIP 기반 Stable Diffusion으로 생성된 이미지를 기반으로 생성된 장면에 대한 정량적 비교. CLIP-Score 및 CLIP-IQA를 RGBD2와 함께 사용하여 결과를 정량적으로 비교합니다. CLIP-IQA의 경우 품질, 색상 선명도 및 선명도의 기준을 사용합니다. LucidDreamer는 모든 지표에서 우세한 결과를 나타냅니다.

초기 SfM 포인트의 출처에 따라 가우시안 스플래팅을 재구성한 정량적 측정. COLMAP을 사용하여 재구성 결과를 비교합니다. 우리의 포인트 클라우드를 사용하면 일관되게 더 나은 재구성 지표를 보여줍니다.