LHM: Alibaba가推出的, 단일 이미지로부터 애니메이션 가능한 3D 휴먼 모델 복원 기술 191

小编 · 2025-03-22

LHM은 Alibaba 통의 연구소에서 제안한, 단일 이미지로부터 애니메이션 가능한 3D 휴먼 모델을 복원하는 기술입니다. 단일 이미지로부터 3D 인간을 복원할 때의 형상, 외관 및 변형 분리 문제를 해결하며, 쉽게 말해 사진 한 장만 제공하면 몇 초 만에 3D 휴먼 모델을 생성할 수 있고, 이 모델은 다양한 동작을 수행할 수 있으며 옷, 머리카락, 얼굴 등의 디테일이 잘 보존되어 매우 사실적인 효과를 냅니다.

LHM: Alibaba가推出的, 단일 이미지로부터 애니메이션 가능한 3D 휴먼 모델 복원 기술

LHM이란 무엇인가요?

LHM은 알리바바 통의(Tongyi) 연구실에서 제안한, 단일 이미지로부터 애니메이션 가능한 3D 휴먼 모델을 복원하는 기술입니다. 단일 이미지로부터 3D 휴먼을 복원할 때 발생하는 기하학, 외형 및 변형의 분리 문제를 해결하며, 쉽게 말해 사진 한 장만 제공하면 몇 초 만에 3D 휴먼 모델을 생성할 수 있고, 이 모델은 다양한 동작을 수행할 수 있으며 의상, 머리카락, 얼굴 등 세부 사항이 잘 유지되어 매우 사실적인 효과를 보여줍니다.

LHM：阿里推出的单张图像重建出可动画化的3D数字人模型.webp

LHM 기술 하이라이트

멀티모달 Transformer 아키텍처:

멀티모달 Transformer 아키텍처를 활용하여 휴먼 위치 특징과 이미지 특징을 효과적으로 인코딩합니다.
어텐션 메커니즘을 통해 세부 사항, 특히 의상의 기하학적 형태와 텍스처를 보존합니다.

머리 특징 피라미드 인코딩 기법:

머리 영역의 다중 스케일 특징을 집계하는 머리 특징 피라미드 인코딩 기법을 제안합니다.
얼굴 정체성 보존 및 세부 복원 능력을 향상시킵니다.

3D 가우시안 스플래팅(Gaussian Splatting):

3D 휴먼을 가우시안 스플래팅으로 표현하여 실시간 사실적 렌더링과 포즈 제어 애니메이션을 지원합니다.

LHM 방법 흐름

입력 이미지: 입력 이미지에서 신체 및 머리의 이미지 토큰을 추출합니다.
멀티모달 Transformer 융합: 제안된 Multimodal Body-Head Transformer (MBHT)를 사용하여 3D 기하학적 신체 토큰과 이미지 토큰을 융합합니다.
가우시안 파라미터로 디코딩: 어텐션 기반 융합 과정을 거친 후, 기하학적 신체 토큰이 가우시안 파라미터로 디코딩됩니다.

LHM 실험 결과

빠른 복원: LHM은 단일 이미지로부터 수 초 내에 애니메이션 가능한 3D 휴먼 모델을 복원할 수 있으며, 후처리가 필요하지 않습니다.
높은 정확도와 일반화 능력: 합성 데이터셋과 실제 장면 데이터셋에서의 실험 결과, LHM은 복원 정확도, 일반화 능력 및 애니메이션 일관성 측면에서 업계 최고 수준을 달성했습니다.
얼굴 및 손 세부 사항: LHM은 기존 방법보다 우수한 사실적인 얼굴 및 손 세부 사항을 생성할 수 있습니다.

LHM：阿里推出的单张图像重建出可动画化的3D数字人模型.jpg

LHM 특징

빠른 복원: LHM은 단일 이미지로부터 수 초 내에 애니메이션 가능한 3D 휴먼 모델을 복원할 수 있으며, 후처리가 필요하지 않습니다.
높은 정확도와 일반화 능력: 합성 데이터셋과 실제 장면 데이터셋에서의 실험 결과, LHM은 복원 정확도, 일반화 능력 및 애니메이션 일관성 측면에서 업계 최고 수준을 달성했습니다.
실시간 렌더링 및 애니메이션 제어: 복원된 모델은 실시간 렌더링과 포즈 제어 애니메이션을 지원하여 몰입형 AR/VR 등 응용 시나리오에 적합합니다.