Mnn3dAvatar : le framework open source d'humains numériques 3D d'Alibaba, un nouvel atout pour le livestream commercial 63

Qu'est-ce que Mnn3d3DAvatar ?

Mnn3dAvatar est une architecture de personnage numérique 3D open source développée par Alibaba, basée sur le framework léger MNN. Elle permet de capturer en temps réel les expressions du visage et de les mapper sur un personnage virtuel 3D, rendant ainsi le personnage plus vivant et expressif. Même sans expérience complexe en modélisation, les développeurs peuvent rapidement créer de magnifiques personnages numériques 3D.

Principe technique de Mnn3dAvatar

Mnn3dAvatar est construit sur le framework MNN et combine la reconstruction 3D Gaussienne, ainsi que des technologies de pilotage par empreinte vocale IA. L'IA permet une capture haute précision des mouvements du visage et un rendu en temps réel, avec pilotage par la voix, les expressions, les gestes et bien d'autres modalités.

Points forts techniques

• Capture faciale en temps réel : l'apprentissage profond permet de capturer avec précision les expressions de l'utilisateur et de les mapper rapidement sur un personnage 3D, convenant aux scénarios de streaming en direct, de réunions virtuelles, etc.

• Déploiement léger : grâce à l'optimisation du framework MNN, Mnn3dAvatar ne nécessite pas de matériel haut de gamme pour fonctionner efficacement sur de nombreux appareils, réduisant considérablement la barrière à l'entrée pour les développeurs.

• Support multimodal : en plus de la capture faciale, il prend également en charge des tâches de génération de texte, de génération d'images, etc., offrant aux développeurs des interfaces flexibles.

• Écosystème open source : en tant que partie de l'écosystème open source d'Alibaba, il comprend de nombreuses API et outils, et peut être intégré de manière transparente aux applications sur des plateformes comme Android, iOS, etc.

Scénarios d'application de Mnn3dAvatar

• Live commerce : les streamers peuvent diffuser en direct sous forme de personnage virtuel 3D, augmentant l'aspect ludique et l'interactivité, réduisant le besoin d'apparition en chair et en os, ce qui convient aux plateformes de e-commerce pour créer du contenu différencié.

• Présentation virtuelle et divertissement : permet de réaliser des expériences visuelles immersives pour les idoles virtuelles, l'animation de personnages de jeu, et les scénarios de réunions virtuelles.

• Éducation et formation : les établissements d'enseignement peuvent l'utiliser pour créer des formateurs virtuels, améliorant l'interactivité et l'attrait des cours en ligne.

La sortie de Mnn3dAvatar vient compléter l'écosystème MNN. Depuis son ouverture en 2019, MNN a été largement utilisé en interne chez Alibaba, couvrant plus de 70 scénarios métiers, notamment Taobao, Tmall, DingTalk, etc. Parallèlement, Alibaba a également publié en open source un autre modèle de génération de personnage numérique 3D, LAM (Live Avatar Model), qui permet de générer rapidement un personnage numérique 3D interactif à partir d'une seule image.

Adresse du projet open source :

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md