TaoAvatar: Alibaba의 고정밀·경량 풀바디 인터랙티브 디지털 휴먼 프로젝트 204

TaoAvatar란 무엇인가요?

TaoAvatar는 디지털 휴먼 기술로, 3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기술을 기반으로 개발된 고정밀·경량级的 전신 인터랙티브 기술입니다. 개인 맞춤 의상 인간 파라메트릭 템플릿을 생성하고 외관 표현을 위해 가우시안 포인트를 템플릿에 결합함으로써 사실적인 전신 디지털 휴먼 이미지 생성을 구현합니다. TaoAvatar의 핵심 장점은 고해상도 렌더링과 낮은 저장 용량 요구 사항을 유지하면서 모바일 기기 및 AR 기기에서 실시간으로 실행할 수 있다는 점입니다.

TaoAvatar 기능

• 고정밀 렌더링: TaoAvatar는 사실적인 3D 전신 디지털 휴먼 이미지를 생성할 수 있으며, 낮은 저장 용량을 유지하면서 고해상도 렌더링을 지원합니다.

• 실시간 인터랙션: 이 기술은 다양한 모바일 및 AR 기기에서 실시간으로 실행되며, Apple Vision Pro와 같은 HD 스테레오 기기에 적합한 90 FPS의 높은 프레임 속도 렌더링을 지원합니다.

• 다중 신호 구동: TaoAvatar는 표정, 제스처, 몸동작을 포함한 다양한 신호로 구동할 수 있어 풍부한 인터랙티브 경험을 지원합니다.

• 경량 아키텍처: 복잡한 비강성 변형을 경량 MLP 네트워크로 "베이크"하고 혼합 형태 컴포지트로 디테일을 보완함으로써, TaoAvatar는 고품질 렌더링을 유지하면서도 실행 효율을 크게 향상시켰습니다.

TaoAvatar 활용 분야

• 전자상거래 라이브 방송: TaoAvatar는 사실적인 가상 아나운서를 만드는 데 사용할 수 있습니다.

• 홀로그램 통신: 원격 통신에서 TaoAvatar는 사실적인 가상 아바타를 생성할 수 있습니다.

• 가상 엔터테인먼트: 게임 및 VR 애플리케이션에서 TaoAvatar는 개인 맞춤형 가상 캐릭터를 생성할 수 있습니다.

• 모바일 기기 및 AR 기기: TaoAvatar는 Android, MacBook, Apple Vision Pro 등 다양한 모바일 및 AR 기기에서의 실행을 지원합니다.

TaoAvatar 사용 방법

1. 데이터 준비: 다중 시점 RGB 비디오 시퀀스와 해당 SMPLX 등록 정보가 필요합니다.

2. 템플릿 생성: 가우시안 포인트를 SMPLX++ 템플릿에 결합하여 개인 맞춤 의상 인간 파라메트릭 템플릿을 생성합니다.

3. 학습 및 최적화: StyleUnet 네트워크로 사전 학습한 후, 지식 증류 기술을 통해 비강성 변형을 경량 MLP 네트워크로 베이크합니다.

4. 배포 및 실행: 최적화된 모델을 대상 기기에 배포하여 실시간 렌더링과 인터랙션을 지원합니다.

관련 링크

프로젝트:https://pixelai-team.github.io/TaoAvatar/

논문:https://arxiv.org/pdf/2503.17032

모델:https://huggingface.co/datasets/PixelAI-Team/TalkBody4D