TaoAvatar : le projet de humain numérique interactif haute fidélité et léger d'Alibaba 212

Qu'est-ce que TaoAvatar ?

TaoAvatar est une technologie de personnage numérique haute fidélité, légère et entièrement interactive numérique, développée à partir de la technique de splatting gaussien 3D (3DGS). Elle génère des avatars numériques corporels réalistes en créant un modèle paramétrique personnalisé de personne habillée et en y attachant des points gaussiens pour représenter l'apparence. Le principal avantage de TaoAvatar est sa capacité à fonctionner en temps réel sur les appareils mobiles et de réalité augmentée, tout en maintenant un rendu haute résolution et de faibles besoins de stockage.

Fonctionnalités de TaoAvatar

• Rendu haute fidélité : TaoAvatar est capable de générer des avatars numériques 3D corporels réalistes, prenant en charge un rendu haute résolution tout en maintenant de faibles besoins de stockage.

• Interaction en temps réel : cette technologie fonctionne en temps réel sur divers appareils mobiles et de RA, prenant en charge un rendu à fréquence d'images élevée de 90 FPS, adaptée aux appareils stéréoscopiques haute définition comme l'Apple Vision Pro.

• Pilotage multi-signaux : TaoAvatar peut être piloté par différents signaux, notamment les expressions faciales, les gestes et les postures corporelles, offrant une expérience interactive riche.

• Architecture légère : en « intégrant » les déformations non rigides complexes dans un réseau MLP léger, combiné avec des blendshapes compensant les détails, TaoAvatar améliore considérablement l'efficacité d'exécution tout en maintenant un rendu de haute qualité.

Applications de TaoAvatar

• Streaming e-commerce : TaoAvatar peut être utilisé pour créer des présentateurs virtuels réalistes.

• Communication holographique : dans les communications à distance, TaoAvatar est capable de générer des avatars réalistes.

• Divertissement virtuel : dans les applications de jeu et de réalité virtuelle, TaoAvatar peut créer des personnages virtuels personnalisés.

• Appareils mobiles et de RA : TaoAvatar prend en charge son fonctionnement sur divers appareils mobiles et de RA, tels qu'Android, MacBook et Apple Vision Pro.

Comment utiliser TaoAvatar

1. Préparation des données : des séquences vidéo RVB multi-vues et les informations d'enregistrement SMPLX correspondantes sont nécessaires.

2. Création du modèle : créer un modèle paramétrique personnalisé de personne habillée en attachant des points gaussiens au modèle SMPLX++.

3. Entraînement et optimisation : pré-entraîner le réseau StyleUnet, puis intégrer les déformations non rigides dans un réseau MLP léger grâce à la distillation de connaissances.

4. Déploiement et exécution : déployer le modèle optimisé sur l'appareil cible, prenant en charge le rendu et l'interaction en temps réel.

Liens connexes

Projet :https://pixelai-team.github.io/TaoAvatar/

Article :https://arxiv.org/pdf/2503.17032

Modèle :https://huggingface.co/datasets/PixelAI-Team/TalkBody4D