Vid2Avatar-Pro : générer des avatars humains 3D réalistes à partir de vidéos monoculaires 188

小编 · 2025-03-10

Vid2Avatar-Pro est une technologie capable de créer des avatars humains 3D réalistes et animables à partir de vidéos monoculaires ordinaires. Version améliorée de Vid2Avatar, elle intègre un modèle préalable universel (UPM) et une représentation 3D optimisée pour un meilleur réalisme et une plus grande généralisation.

Vid2Avatar-Pro : générer des avatars humains 3D réalistes à partir de vidéos monoculaires

Qu'est-ce que Vid2Avatar-Pro ?

Vid2Avatar-Pro est une technologie capable de créer des avatars 3D humains réalistes et animables à partir de vidéos monoculaires ordinaires. Il s'agit d'une version améliorée de Vid2Avatar, qui améliore le réalisme et la capacité de généralisation des avatars en introduisant un modèle prior universel (Universal Prior Model, UPM) et des méthodes de représentation 3D optimisées.

Fonctionnalités de Vid2Avatar-Pro

Réalisme élevé et animabilité : Vid2Avatar-Pro peut générer des avatars 3D réalistes à partir de vidéos monoculaires ordinaires et prend en charge des animations de mouvements complexes.
Rendu multi-vues : les avatars générés peuvent être rendus sous n'importe quel angle de vue, résolvant le problème des angles de vue limités dans les méthodes traditionnelles.
Prise en charge de mouvements variés : les avatars peuvent exécuter divers mouvements complexes, comme jouer au badminton, jouer du tambour, sauter sur une jambe, etc.
Modèle prior universel (UPM) : grâce à un modèle prior universel pré-entraîné sur des données multi-vues à grande échelle, la capacité de généralisation aux nouvelles poses et aux nouveaux angles de vue est considérablement améliorée.

Scénarios d'application de Vid2Avatar-Pro

Production cinématographique : reconstruction de modèles 3D d'acteurs à partir de vidéos ordinaires pour la création d'effets spéciaux.
Réalité virtuelle (VR) et réalité augmentée (AR) : création de personnages virtuels réalistes pour un meilleur sentiment d'immersion.
Mode et e-commerce : reconstruction du modèle 3D des utilisateurs à partir de vidéos pour permettre l'essayage virtuel.
Analyse sportive : reconstruction du modèle des athlètes à partir de vidéos de matchs pour analyser les détails des mouvements.
Rééducation médicale : enregistrement et analyse des mouvements des patients au cours de leur processus de rééducation.

Principe technique de Vid2Avatar-Pro

Modèle prior universel (UPM)

Phase de pré-entraînement : l'UPM est entraîné à l'aide de données de performance de personnes habillées, dynamiques et multi-vues à grande échelle, afin qu'il puisse capturer les caractéristiques générales de l'apparence et de la pose humaines.
Phase de réglage fin : sur une vidéo monoculaire野外 donnée, l'UPM pré-entraîné est affiné grâce à la technique du rendu inverse pour restaurer les détails d'une personne spécifique.

Représentation 3D par Gaussiennes

Utilisation de la représentation 3D par Gaussiennes avec des cartes avant/arrière canoniques pour construire les avatars, ces cartes étant partagées entre les différentes identités.
Synthèse des paramètres de pose/forme d'entraînement grâce au Linear Blend Skinning (LBS) direct et aux techniques de rastérisation.

Décomposition de scène auto-supervisée

Sans dépendre de modules de segmentation externes, le corps humain et l'arrière-plan sont séparés directement en 3D.
Le personnage et l'arrière-plan sont paramétrés via deux champs neuronaux indépendants, ce qui résout les tâches de décomposition de scène et de reconstruction de surface.

Stratégie d'optimisation

Introduction d'une stratégie d'échantillonnage du grossier au fin et d'une nouvelle fonction objectif, permettant de séparer clairement le corps humain dynamique de l'arrière-plan statique.
Optimisation du modèle d'arrière-plan, de la forme et de la texture humaines canonisées, ainsi que des paramètres de pose humaine pour chaque image.

Comment utiliser Vid2Avatar-Pro

1. Préparation des données :

Utilisez ROMP pour obtenir la forme et la pose SMPL initiales.
Utilisez OpenPose pour extraire les points clés.

2. Entraînement du modèle :

Optimisation conjointe du modèle d'arrière-plan, de la forme/texture humaine et des paramètres de pose.
Réglage fin à l'aide du modèle UPM pré-entraîné.

3. Génération et rendu :