Hi3DGen: 2D 이미지에서 고정밀 3D 지오메트리를 생성하는 프레임워크 126

小编 · 2025-04-16

Hi3DGen은 2D 이미지에서 고정밀 3D 지오메트리를 생성하는 프레임워크입니다. 노멀 맵을 중간 표현으로 사용하여 이미지-투-노멀 추정기와 노멀-투-지오메트리 학습기를 결합함으로써 생성 충실도를 높입니다. 또한 학습을 위한 고품질 합성 데이터셋 DetailVerse를 구축했습니다. 실험 결과, 풍부한 기하학적 디테일 생성에 뛰어난 성능을 보이며 VR, 게임 개발 등에 적합합니다.

Hi3DGen: 2D 이미지에서 고정밀 3D 지오메트리를 생성하는 프레임워크

Hi3DGen이란 무엇인가요?

Hi3DGen은 2D 이미지로부터 고정밀 3D 기하 모델을 생성하는 프레임워크입니다. 노멀 맵(normal map)을 중간 표현으로 활용하고, 이미지-노멀 추정기와 노멀-기하 학습 방법을 결합하여 생성 충실도를 향상시킵니다. 또한, 고품질 합성 데이터셋인 DetailVerse를 구축하여 학습을 지원합니다. 실험 결과, Hi3DGen은 풍부한 기하학적 디테일을 생성하는 데 있어 매우 뛰어난 성능을 보이며, 가상현실, 게임 개발 등의 시나리오에 적합합니다.

Hi3DGen：2D 이미지로부터 고정밀 3D 기하 모델을 생성하는 프레임워크.webp

Hi3DGen 기능 특징

고정밀 3D 생성: 노멀 맵을 중간 표현으로 활용하고,先进的 추정기와 학습 방법을 결합하여 2D 이미지로부터 고정밀하고 디테일丰富的한 3D 기하 모델을 생성합니다.
강력한 일반화 능력: 이중 스트림 학습 전략을 채택하여 이미지의 저주파 및 고주파 패턴을 분리함으로써, 다양한 입력 조건에서도 모델이 안정적으로 고품질 결과를 출력할 수 있도록 합니다.
효율적인 기하학적 감독: 노멀 정규화(latent diffusion) 학습 방법을 통해 3D 기하 생성에 대한 명확한 감독 신호를 제공함으로써, 생성 정확도를显著 향상시킵니다.
고품질 데이터 지원: DetailVerse 합성 데이터셋이 함께 제공되며, 이는 복잡한 기하 구조와 풍부한 디테일을 포함하여 모델 학습에 충분한 데이터를 지원합니다.

Hi3DGen 프레임워크 구성

이미지-노멀 추정기(NiRNE): 노이즈 주입과 이중 스트림 학습을 통해 이미지의 저주파 및 고주파 패턴을 분리하여, 일반화 능력이 강하고 안정적이며 선명한 노멀 추정을 실현합니다.
노멀-기하 학습 방법(NoRLD): 노멀 정규화 잠재扩散 학습 방법을 채택하여 학습 과정에서 명확한 3D 기하 감독을 제공함으로써, 생성 충실도를 크게 향상시킵니다.
3D 데이터 합성 파이프라인: DetailVerse라는 고품질 합성 3D 데이터셋을 구축하여 프레임워크 학습을 지원합니다.

Hi3DGen：2D 이미지로부터 고정밀 3D 기하 모델을 생성하는 프레임워크.webp

Hi3DGen 기술적 장점

노멀 맵을 중간 표현으로 활용: 노멀 맵은 표면 방향 정보를 인코딩하여, 합성 학습 데이터와 실제 응용 사이의 도메인 간극을 효과적으로 완화하고 기하 학습을 위한 더 명확한 기하 단서를 제공합니다.
이중 스트림 학습 전략: 저주파 및 고주파 이미지 패턴의 학습을 분리함으로써, NiRNE는 안정성을 유지하면서도 더 선명한 노멀 맵을 생성할 수 있습니다.
고품질 합성 데이터셋: DetailVerse 데이터셋은 복잡한 기하 구조와 풍부한 표면 디테일을 포함하여, 보다 정밀한 모델 학습에 기여합니다.