Zero123: 단일 이미지로 고품질 3D 생성 140

오늘 우리는 뷰 조건부 이미지 생성을 위한 내부 훈련 모델인 Zero123 안정 버전을 출시했습니다. 이전 최첨단 Zero123-XL과 비교하여, 안정 Zero123는 현저히 개선된 결과를 생성합니다. 이는 세 가지 핵심 혁신을 통해 달성되었습니다:

1. 개선된 훈련 데이터셋 — Objaverse에서 대량의 데이터를 필터링하여 고품질의 3D 객체만 유지하여, 이전 방법보다 더 사실적으로 렌더링된 객체를 얻을 수 있게 되었습니다.

2. 훈련 및 추론 과정에서 모델에 추정된 카메라 각도를 제공했습니다. 이러한 고도 조절 덕분에 모델은 더 정확하고 고품질의 예측을 수행할 수 있습니다.

3. 사전 계산된 데이터셋(사전 계산된 잠재 변수)과 개선된 데이터 로더는 더 큰 배치 크기를 지원하며, 첫 번째 혁신과 결합되어 Zero123-XL 대비 훈련 효율이 40배 향상되었습니다.

Zero123 특징:

안정 Zero123는 개선된 훈련 데이터셋과 고도 조건 덕분에 Zero1-to-3 또는 Zero123-XL에 비해 품질이 크게 향상된, 다양한 각도에서 객체의 외관을 보여주는 객체의 새로운 뷰를 생성할 수 있습니다.

이 모델은 Stable Diffusion 1.5를 기반으로 하며, 1개의 새 뷰를 생성하기 위해 SD1.5와 동일한 양의 VRAM을 소비합니다. Stable Zero123을 사용하여 3D 객체를 생성하려면 더 많은 시간과 메모리가 필요합니다(24GB VRAM 권장).

3D 객체 생성 관련 공개 연구를 지원하기 위해, 우리는 Threestudio 오픈 소스 코드를 개선하여 Zero123과 Stable Zero123을 지원하도록 했습니다. Stable 3D 파이프라인의 간소화된 버전은 현재 비공개 프리뷰 단계에 있습니다. 기술적으로 이는 Stable Zero123 모델을 사용하여 NeRF를 최적화하기 위해 Score Distillation Sampling (SDS)을 사용하며, 이후 텍스처가 적용된 3D 메시를 생성할 수 있습니다. 이 과정은 먼저 SDXL을 사용하여 단일 이미지를 생성한 다음 Stable Zero123을 사용하여 3D 객체를 생성함으로써 텍스트-3D 생성에도 적용할 수 있습니다.

Zero123 프로젝트: https://github.com/cvlab-columbia/zero123

Zero123 체험하기: https://huggingface.co/spaces/cvlab/zero123-live

Zero123 논문: https://arxiv.org/abs/2303.11328

이 모델은 현재 Hugging Face에서 다운로드할 수 있으며, 연구원 및 비상업적 사용자가 실험할 수 있습니다.