MultiGO: 단일 이미지로부터 고정밀 3D 휴먼 모델 생성의 돌파구 48

MultiGO란 무엇인가요?

홍콩과기대학(광저우) 팀의 MultiGO 솔루션은 계층적 모델링 방식을 통해 단일 이미지로부터 고정밀 3D 휴먼 모델을 생성하며, 인체를 기본 체형부터 세부 텍스처까지 계층적으로 세분화하여 전통적인 3D 복원 방식의 세부 표현력 부족 문제를 해결했습니다. 이 연구 성과는 CVPR 2025에 채택되었으며, 가상 피팅, 게임 캐릭터 생성, 영화 특수효과 등 다양한 분야에 활용될 수 있습니다. 3단계 기하 학습을 통해 깊이 오류에 대한 저항력을 강화하고, 표면 디테일을 서브밀리미터 수준까지 복원할 수 있어 실용적 가치가 매우 높습니다.

MultiGO 기술

3단계 기하 학습 프레임워크

• 골격 강화 모듈(SLE): 3D 푸리에 특성을 2D 공간으로 투영하고, SMPL-X 휴먼 메시를 기하 사전 정보로 결합하여 인체 골격 모델링을 강화합니다. 푸리에 공간 위치 인코딩은 3D 모델과 2D 이미지 간의 시맨틱 정렬 능력을 향상시켜, 모델이 인체 자세 특징을 보다 정확하게 포착할 수 있도록 합니다.

• 관절 강화 전략(JLA): 학습 과정에서 관절점 위치에 교란을施加하여 모델의 깊이 추정 오류에 대한 견고성을 높입니다. 이 전략은 깊이 인식에 영향을 미치는 매개변수를 중점적으로 조정하여, 깊이 모호성으로 인한 사지 위치 복원 부정확 문제를 방지합니다.

• 주름 최적화 모듈(WLR): 확산 모델의 디노이징과 유사한 방식을 채택하여 표면 주름을 최적화 가능한 노이즈 패턴으로 취급하고, 점진적으로 더 정교한 고주파 세부 사항을 복원합니다. 이러한 혁신적인 방법 덕분에 MultiGO는 서브밀리미터 수준의 표면 디테일을 생성할 수 있으며, 전통적인 방식이 의류 주름 등 고주파 세부 사항에서 보였던 부족함을 효과적으로 보완합니다.

고정밀 디테일 복원

• MultiGO는 3단계 계층적 모델링 전략을 통해 거시적 자세부터 미시적 디테일까지 다중 스케일의 정교한 복원을 구현합니다. 실험 결과에 따르면 MultiGO는 CustomHuman 및 THuman3.0 두 테스트 데이터셋 모두에서 업계 최고 수준의 성능 지표를 달성했습니다.

작동 원리

SLE 모듈은 3D 푸리에 특성을 입력 이미지의 2D 공간으로 투영하여 가우시안 복원 모델이 인체 형상 사전 지식을 활용해 인체 자세를 정확하게 포착하도록 합니다. JLA 전략은 학습 시 제어된 교란을施加하여 추론 시 모델의 깊이 오류에 대한 견고성을 높이고, 인체 관절의 깊이 추정을 개선합니다. WLR 모듈은 거친 메시를 가우시안 노이즈로 간주하고, 고품질 텍스처의 가우시안 복원을 조건으로 주름을 세분화하여 기하학적 디테일을 최적화합니다.

MultiGO의 장점

• 고정밀 3D 휴먼 복원: 단안(monocular) 이미지로부터 고정밀 3D 휴먼 모델을 생성할 수 있으며, 의류 주름, 피부 텍스처 등 디테일의 정교한 복원을 지원합니다.

• 빠른 생성 및 조정: 개인 맞춤형 3D 아바타의 빠른 생성을 지원하며, 디테일을 유연하게 조정할 수 있어 아트 자산 생산 비용을 크게 절감합니다.

• 다양한 시나리오 적용: 빠른 생성이 필요하면서도 사실감과 다중 스케일 디테일 복원 요구사항이 높은 응용 시나리오에 적합합니다.

MultiGO의 활용 시나리오

• 가상 피팅 및 패션 이커머스: 소비자가全身 사진 한 장만 업로드하면 고정밀 3D 휴먼 모델이 생성되며, 시스템이 다양한 의류의 착용 효과를 자동으로 시뮬레이션할 수 있습니다.

• 게임 및 메타버스: 단일 사진을 통해 개인 맞춤형 3D 아바타를 빠르게 생성할 수 있으며, 계층적 구조는 유연한 조정을 지원합니다.

• 영화 특수효과 및 가상 프로덕션: 특수효과 제작에서 배우의 단일 시점 사진만으로 고정밀 3D 모델을 복원하여 모션 캡처나 스탠드인 합성에 활용할 수 있으며, 계층적 설계를 통해 후반 제작 시 특정 계층을 개별 편집할 수 있습니다.

프로젝트 링크

https://multigohuman.github.io/