Vid2Avatar-Pro: 단안 자연 영상에서 사실적인 3D 휴먼 아바타 생성 186

Vid2Avatar-Pro란 무엇인가요?

Vid2Avatar-Pro는 일반적인 단안(monocular) 자연 영상에서 사실적이고 애니메이션 가능한 3D 인간 아바타를 생성할 수 있는 기술입니다. 이는 Vid2Avatar의 업그레이드 버전으로, 범용 사전 모델(Universal Prior Model, UPM)과 최적화된 3D 표현 방식을 도입하여 아바타의 사실감과 일반화 능력을 향상시켰습니다.

Vid2Avatar-Pro 기능 특징

• 높은 사실감과 애니메이션 가능성: Vid2Avatar-Pro는 일반적인 단안 영상에서 사실적인 3D 아바타를 생성하며, 복잡한 동작 애니메이션을 지원합니다.

• 다중 시점 렌더링: 생성된 아바타는 임의의 시점으로 렌더링될 수 있어, 전통적인 방법에서 시점이 제한되던 문제를 해결합니다.

• 다양한 동작 지원: 아바타는 배드민턴 치기, 북 치기, 한 발로 점프하기 등 다양한 복잡한 동작을 수행할 수 있습니다.

• 범용 사전 모델(UPM): 대규모 다중 시점 데이터로 사전 학습된 범용 사전 모델을 통해 새로운 자세와 시점에 대한 일반화 능력이 크게 향상되었습니다.

Vid2Avatar-Pro 활용 시나리오

• 영상 제작: 일반 영상에서 배우의 3D 모델을 복원하여 특수 효과 제작에 사용합니다.

• 가상 현실(VR) 및 증강 현실(AR): 사실적인 가상 캐릭터를 생성하여 몰입감을 높입니다.

• 패션 및 이커머스: 영상에서 사용자 3D 모델을 복원하여 가상 피팅을 구현합니다.

• 스포츠 분석: 경기 영상에서 선수 모델을 복원하여 동작 디테일을 분석합니다.

• 의료 재활: 환자의 재활 과정에서의 동작을 기록하고 분석합니다.

Vid2Avatar-Pro 기술 원리

범용 사전 모델(UPM)

• 사전 학습 단계: 대규모 다중 시점, 동적인 의상을 입은 인간表演 데이터를 사용하여 UPM을 학습시켜, 인간의 외관과 자세에 대한 일반적인 특징을 포착할 수 있게 합니다.

• 미세 조정 단계: 주어진 단방성 야외 영상에서 역렌더링 기술을 통해 사전 학습된 UPM을 미세 조정하여 특정 인물의 디테일을 복원합니다.

3D 가우시안 표현

• 정규화된 정면 및 후면 맵의 3D 가우시안 표현을 사용하여 아바타를 구성하며, 이러한 맵은 서로 다른 정체성 간에 공유됩니다.

• 정방향 선형 블렌딩 스키닝(LBS)과 래스터화 기술을 통해 학습 자세/모양 파라미터를 합성합니다.

자기 지도 장면 분해

• 외부 분할 모듈에 의존하지 않고, 3D에서 직접 인간과 배경을 분리합니다.

• 인물과 배경을 위해 두 개의 독립적인 신경장을 통해 파라미터화하여, 장면 분해 및 표면 재구성 작업을 해결합니다.

최적화 전략

• 粗에서 정밀로 가는 샘플링 전략과 새로운 목적 함수를 도입하여 동적인 인간과 정적인 배경을 명확하게 분리합니다.

• 배경 모델, 정규화된 인간 형태와 텍스처, 그리고 매 프레임의 인간 자세 파라미터를 최적화합니다.

Vid2Avatar-Pro 사용 방법

1. 데이터 준비:

• ROMP를 사용하여 초기 SMPL 형태와 자세를 얻습니다.

• OpenPose를 사용하여 키포인트를 추출합니다.

2. 모델 학습:

• 배경 모델, 인간 형태 텍스처 및 자세 파라미터를 공동으로 최적화합니다.

• 사전 학습된 UPM 모델을 사용하여 미세 조정합니다.

3. 생성 및 렌더링:

• 학습된 모델을 사용하여 최종 3D 아바타를 생성합니다.

• 역렌더링 기술을 통해 다중 시점 렌더링을 구현합니다.

4. 애니메이션 생성:

• 아바타를 새로운 동작 시퀀스에 바인딩하여 다양한 애니메이션을 구현합니다.

논문 링크:https://moygcc.github.io/vid2avatar-pro/static/CVPR2025_Vid2Avatar_Pro.pdf

프로젝트 홈페이지:https://moygcc.github.io/vid2avatar-pro/