HRAvatar: 단안 비디오로 고품질 3D 아바타를 생성하는 방법 74

小编 · 2025-05-23

디지털 휴먼, 가상 스트리머, AR/VR 분야의 급속한 성장 속에서 현실적이고 애니메이션 가능하며 재조명 가능한 3D 아바타의 효율적 생성은 핵심 요구사항이 되었습니다. 그러나 단안 비디오에서 사실적인 애니메이션 아바타를 생성하는 것은 여전히 많은 도전 과제가 있으며, 기존 3D 가우시안 스플래팅(3DGS) 기반 방법들은 재구성 품질 측면에서 기하학적 변형 유연성 부족, 표정 추적 부정확, 사실적 재조명 구현 불가 등의 한계를 가지고 있습니다.

HRAvatar: 단안 비디오로 고품질 3D 아바타를 생성하는 방법

디지털 휴먼, 가상 아나운서, AR/VR 등 분야에서 빠르게 발전하는背景下, 고품질의 움직임이 가능하고 재조명(relighting)이 가능한 3D 아바타를 효율적으로 생성하는 것이 핵심 요구 사항이 되었습니다. 그러나 단안(monocular) 비디오에서 사실적이고 애니메이션 가능한 아바타를 생성하는 작업은 여전히 많은 어려움이 있으며, 기존 3D 가우시안(3DGS) 기반 방법들은 재구성 품질 측면에서 기하학적 변형 유연성 부족, 부정확한 표정 추적, 현실적인 재조명 불가능 등의 한계를 가지고 있습니다.

칭화대학교와 IDEA 팀이 협력하여 HRAvatar를 개발했습니다 — 단안 비디오를 활용해 고품질의 재조명 가능한 3D 아바타를 생성하는 새로운 기술입니다. 학습 가능한 변형 베이스(deformation basis)와 선형 스키닝(linear skinning)을 통해 개인화된 기하학적 변형을 구현하며, 동시에 정확한 표정 인코더를 갖추고 있어 추적 오차를 줄이고 재구성 품질을 향상시킵니다. HRAvatar는 실시간성과 디테일 표현에서 뛰어난 성능을 보이며, CVPR2025 학회에 게재 승인되었습니다. 실험 결과, 다양한 평가 지표에서 기존 기술을 능가하며, 실시간 성능은 약 155 FPS에 달하고, 새로운 조명 환경에서의 재조명도 지원합니다.

HRAvatar：단안으로 고품질 3D 아바타를 생성하는 방법.jpg

HRAvatar의 핵심 기술

학습 가능한 변형 베이스와 선형 스키닝 기술: 각 점의 변형 베이스와 블렌딩 스키닝 가중치를 적응적으로 학습하여, 가우시안 점이 표준 자세에서 다양한 표정과 자세로 유연하게 변형될 수 있도록 함으로써, 일반화된 파라메트릭 모델이 개인화된 표정 변화를 정확하게 포착하기 어려운 문제를 해결합니다.
정확한 표정 인코더: 3D 아바타 재구성과 함께 종단간(end-to-end) 최적화를 수행하는 표정 인코더를 도입하고, 가우시안 재구성 손실을 활용하여 감독함으로써, 추적 오차를 줄이고 재구성 품질을 향상시킵니다.
외관 모델링과 물리 기반 셰이딩: 아바타 외관을 반사율(albedo), 거칠기(roughness), 프레넬 반사 등의 머티리얼 속성으로 분해하고, 머티리얼 정보의 더 나은 분리를 위해 반사율 의사 사전(albedo pseudo prior)을 도입하며, 단순화된 BRDF 물리 모델을 사용해 셰이딩을 수행합니다. 또한 SplitSum 근사 기법을 도입해 환경광 맵을 사전 계산함으로써, 고품질의 재조명 가능한 실시간 렌더링을 구현합니다.

HRAvatar의 기술적 장점

높은 재구성 품질: 모든 평가 지표에서 기존 방법보다 우수한 성능을 보이며, 특히 LPIPS에서 재구성된 아바타의 디테일이 더 풍부합니다.
우수한 실시간 성능: 렌더링 속도가 약 155 FPS에 달해 실시간 요구 사항을 충족합니다.
HRAvatar로 재구성된 아바타는 단순히 구동되는 것뿐만 아니라, 새로운 환경광 맵 하에서의 재조명이나 간단한 머티리얼 편집도 가능하여 영화, 게임, 몰입형 회의, AR/VR 등 다양한 분야에 적용할 수 있습니다.