LHM : une technologie d'Alibaba pour reconstruire un modèle humain 3D animable à partir d'une seule image 194

小编 · 2025-03-22

LHM est une technologie proposée par le laboratoire Tongyi d'Alibaba pour reconstruire des modèles humains 3D animables à partir d'une seule image. Elle aborde le découplage de la géométrie, de l'apparence et de la déformation dans la reconstruction 3D d'humains à partir d'une seule image. En termes simples, il suffit de fournir une photo pour créer en quelques secondes un modèle humain 3D capable d'effectuer diverses actions, tout en préservant finement les vêtements, les cheveux et le visage, avec un résultat très réaliste.

LHM : une technologie d'Alibaba pour reconstruire un modèle humain 3D animable à partir d'une seule image

Qu'est-ce que LHM ?

LHM est une technologie proposée par le laboratoire Tongyi d'Alibaba, utilisée pour reconstruire des modèles 3D de corps humains animables à partir d'une seule image. Elle résout les problèmes de découplage de la géométrie, de l'apparence et de la déformation lors de la reconstruction d'un corps humain 3D à partir d'une seule image. En termes simples, il suffit de fournir une photo et, en quelques secondes, un modèle de corps humain 3D est créé. Ce modèle peut effectuer divers mouvements tout en conservant très bien les détails des vêtements, des cheveux, du visage, etc., avec un effet visuellement très réaliste.

LHM：阿里推出的单张图像重建出可动画化的3D数字人模型.webp

Points forts de la technologie LHM

Architecture Transformer multimodale :

Elle utilise une architecture Transformer multimodale pour encoder efficacement les caractéristiques de position du corps humain et les caractéristiques de l'image.
Elle préserve les détails grâce au mécanisme d'attention, en particulier la forme géométrique et la texture des vêtements.

Schéma d'encodage par pyramide de caractéristiques de la tête :

Un schéma d'encodage par pyramide de caractéristiques de la tête est proposé, agrégeant les caractéristiques multi-échelles de la région de la tête.
Il améliore la préservation de l'identité du visage et la capacité de restauration des détails.

Rendu par splatting gaussien 3D (Gaussian Splatting) :

Le corps humain 3D est représenté sous forme de splatting gaussien, prenant en charge un rendu réaliste en temps réel et une animation contrôlée par la pose.

Processus méthodologique de LHM

Image d'entrée : extraction des tokens d'image du corps et de la tête à partir de l'image d'entrée.
Fusion via Transformer multimodal : utilisation du Multimodal Body-Head Transformer (MBHT) proposé pour fusionner les tokens géométriques 3D du corps avec les tokens d'image.
Décodage en paramètres gaussiens : après le processus de fusion basé sur l'attention, les tokens géométriques du corps sont décodés en paramètres gaussiens.

Résultats expérimentaux de LHM

Reconstruction rapide : LHM est capable de reconstruire un modèle de corps humain 3D animable à partir d'une seule image en quelques secondes, sans post-traitement.
Haute précision et capacité de généralisation : les expériences menées sur des jeux de données synthétiques et des jeux de données de scènes réelles montrent que LHM atteint un niveau de pointe dans l'industrie en termes de précision de reconstruction, de capacité de généralisation et de cohérence d'animation.
Détails du visage et des mains : LHM est capable de générer des détails réalistes du visage et des mains, surpassant les méthodes existantes.

LHM：阿里推出的单张图像重建出可动画化的3D数字人模型.jpg

Caractéristiques de LHM

Reconstruction rapide : LHM est capable de reconstruire un modèle de corps humain 3D animable à partir d'une seule image en quelques secondes, sans post-traitement.
Haute précision et capacité de généralisation : les expériences menées sur des jeux de données synthétiques et des jeux de données de scènes réelles montrent que LHM atteint un niveau de pointe dans l'industrie en termes de précision de reconstruction, de capacité de généralisation et de cohérence d'animation.
Rendu en temps réel et contrôle d'animation : le modèle reconstruit prend en charge le rendu en temps réel et l'animation contrôlée par la pose, adapté aux scénarios d'application AR/VR immersifs.

Scénarios d'application de LHM

Metaverse : fournir aux utilisateurs des avatars 3D personnalisés, améliorant l'immersion dans le monde virtuel.
Production cinématographique et télévisuelle : générer rapidement des modèles de personnages 3D de haute qualité, améliorant l'efficacité de la production.
Développement de jeux : créer des personnages de jeu 3D réalistes, améliorant les effets visuels du jeu.