HRAvatar : méthode de génération d'avatars 3D de haute qualité à partir d'une vidéo monoculaire 78

小编 · 2025-05-23

Avec l'essor rapide des humains numériques, des streamers virtuels et de la RA/RV, la génération efficace d'avatars 3D réalistes, animables et ré-illuminables est devenue un besoin crucial. Cependant, créer des avatars animables très réalistes à partir d'une vidéo monoculaire reste un défi. Les méthodes existantes basées sur le 3D Gaussian Splatting (3DGS) présentent des limites en qualité de reconstruction, telles qu'une flexibilité insuffisante de la déformation géométrique, un suivi imprécis des expressions et l'incapacité d'obtenir un ré-éclairage réaliste.

HRAvatar : méthode de génération d'avatars 3D de haute qualité à partir d'une vidéo monoculaire

Dans le contexte du développement rapide de domaines tels que les humains numériques, les présentateurs virtuels et la RA/RV, la génération efficace d'avatars 3D réalistes, animables et ré-éclairables est devenue un besoin essentiel. Cependant, la génération d'avatars animables hautement réalistes à partir d'une vidéo monoculaire reste confrontée à de nombreux défis. Les méthodes existantes basées sur les gaussiennes 3D (3DGS) présentent certaines limites en termes de qualité de reconstruction, telles qu'un manque de flexibilité pour les déformations géométriques, un suivi des expressions imprécis et l'incapacité d'obtenir un ré-éclairage réaliste.

L'Université Tsinghua et l'équipe IDEA ont collaboré pour développer HRAvatar, une nouvelle technologie qui utilise des vidéos monoculaires pour créer des avatars 3D de haute qualité et ré-éclairables. Elle s'appuie sur des bases de déformation apprenables et un skinning linéaire pour réaliser des déformations géométriques personnalisées, tout en étant équipée d'un encodeur d'expressions précis, réduisant les erreurs de suivi et améliorant la qualité de la reconstruction. HRAvatar est performant en termes de temps réel et de rendu des détails, et a été accepté à la conférence CVPR2025. Des expériences montrent qu'il surpasse les technologies existantes sur plusieurs métriques d'évaluation, avec des performances en temps réel d'environ 155 FPS, et prend également en charge le ré-éclairage dans de nouveaux environnements lumineux.

HRAvatar：单目生成高质量3D头像方法.jpg

Technologies clés de HRAvatar

Bases de déformation apprenables et technologie de skinning linéaire : grâce à l'apprentissage adaptatif des bases de déformation et des poids de skinning mélangé pour chaque point, les points gaussiens peuvent être déformés de manière flexible depuis une posture standard vers diverses expressions et poses, résolvant le problème des modèles paramétriques génériques qui peinent à capturer avec précision les variations d'expressions personnalisées.
Encodeur d'expressions précis : un encodeur d'expressions de bout en bout est introduit et optimisé conjointement avec la reconstruction de l'avatar 3D. Il utilise la perte de reconstruction gaussienne pour la supervision, réduisant ainsi les erreurs de suivi et améliorant la qualité de la reconstruction.
Modélisation de l'apparence et shading physique : l'apparence de l'avatar est décomposée en propriétés de matériaux telles que l'albédo, la rugosité et la réflectance de Fresnel. Un pseudo-prior d'albédo est introduit pour mieux découpler les informations de matériaux, un modèle physique BRDF simplifié est utilisé pour le shading, et la technique d'approximation SplitSum est introduite pour précalculer la carte d'éclairage environnemental, permettant ainsi un rendu en temps réel de haute qualité et ré-éclairable.

Avantages techniques de HRAvatar

Haute qualité de reconstruction : supérieur aux méthodes existantes sur toutes les métriques d'évaluation, en particulier sur la LPIPS, les avatars reconstruits présentant des détails plus riches.
Excellentes performances en temps réel : la vitesse de rendu atteint environ 155 FPS, répondant aux exigences de temps réel.
Les avatars reconstruits par HRAvatar peuvent non seulement être animés, mais aussi être ré-éclairés ou subir de simples modifications de matériaux sous de nouvelles cartes de lumière environnementale, ce qui les rend adaptés aux domaines du cinéma, des jeux vidéo, des conférences immersives, de la RA/RV, etc.