Mnn3dAvatar: Alibaba가 오픈소스로 공개한 라이브 커머스용 3D 디지털 휴먼 프레임워크 62

Mnn3DAvatar란 무엇인가요?

Mnn3dAvatar는 알리바바가 오픈소스로 공개한 3D디지털 휴먼 아키텍처로, 경량 MNN 프레임워크를 기반으로 개발되었습니다. 실시간으로 얼굴 표정을 포착하여 3D 가상 캐릭터에 매핑할 수 있어, 캐릭터를 더욱 생동감 있고 실감 나게 만들어 줍니다. 복잡한 모델링 경험이 없더라도 개발자는 빠르게 정교한 3D 디지털 휴먼을 제작할 수 있습니다.

Mnn3dAvatar 기술 원리

Mnn3dAvatar는 MNN 프레임워크 위에 구축되었으며, 3D 가우시안 재구성과 AI 음성 드라이빙 등 기술을 결합했습니다. AI를 통해 고정밀 얼굴 동작 포착과 실시간 렌더링을 구현하며, 음성, 표정, 제스처 등 다양한 방식으로 구동할 수 있습니다.

기술 하이라이트

• 실시간 얼굴 포착: 딥러닝으로 사용자의 표정을 정확하게 포착하고 빠르게 3D 캐릭터에 매핑하여 라이브 방송, 가상 회의 등 다양한场景에 적용할 수 있습니다.

• 경량 배포: MNN 프레임워크의 최적화 지원을 통해 Mnn3dAvatar는 고사양 하드웨어 없이도 다양한 기기에서 효율적으로 작동하여 개발 장벽을 크게 낮춥니다.

• 다중 모달 지원: 얼굴 포착 외에도 텍스트 생성, 이미지 생성 등 작업을 지원하여 개발자에게 유연한 인터페이스를 제공합니다.

• 오픈소스 생태계: 알리바바 오픈소스 생태계의 일환으로 풍부한 API 및 도구를 포함하며, 안드로이드, iOS 등 플랫폼 애플리케이션에无缝하게 임베드할 수 있습니다.

Mnn3dAvatar 활용 시나리오

• 라이브 커머스: 진행자가 3D 가상 캐릭터 상태로 라이브 방송을 진행할 수 있어, 재미와 상호작용을 높이고 실제 인물 노출을 줄이며, 전자상거래 플랫폼이 차별화된 콘텐츠를 제작하는 데 적합합니다.

• 가상 전시 및 엔터테인먼트: 가상 아이돌, 게임 캐릭터 애니메이션, 가상 회의场景에서의 몰입형 시각 경험을 구현할 수 있습니다.

• 교육 및 훈련: 교육 기관에서 이를 활용해 가상 강사를 제작하고, 온라인 수업의 상호작용성과 매력을 높일 수 있습니다.

Mnn3dAvatar의 출시로 MNN 생태계가进一步完善되었습니다. 2019년 오픈소스 공개 이후, MNN은 알리바바 내부에서淘宝(타오바오), 天猫(티마오), 钉钉(딩딩) 등 70여 개 비즈니스 场景에 광범위하게 적용되어 왔습니다. 동시에 알리바바는 또 다른 3D 디지털 휴먼 생성 모델인 LAM(Live Avatar Model)도 오픈소스로 공개했으며, 이는 단 한 장의 이미지로 빠르게 상호작용 가능한 3D 디지털 휴먼을 생성하는 것을 지원합니다.

오픈소스 주소:

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md