LHM: tecnología de Alibaba para reconstruir un modelo humano 3D animable a partir de una sola imagen 192

¿Qué es LHM?

LHM es una tecnología propuesta por el Laboratorio Tongyi de Alibaba para reconstruir modelos 3D del cuerpo humano animables a partir de una sola imagen. Resuelve el problema del desacoplamiento de la geometría, la apariencia y la deformación al reconstruir un cuerpo humano en 3D a partir de una sola imagen. En términos sencillos, solo se necesita proporcionar una foto y, en unos segundos, se puede crear un modelo humano en 3D capaz de realizar diversas acciones, manteniendo muy bien los detalles de la ropa, el cabello, el rostro, etc., con un efecto visual muy realista.

Aspectos técnicos destacados de LHM

Arquitectura Transformer multimodal:

• Utiliza una arquitectura Transformer multimodal para codificar eficazmente las características de posición del cuerpo humano y las características de la imagen.

• Preserva los detalles mediante el mecanismo de atención, especialmente la forma geométrica y la textura de la ropa.

Esquema de codificación piramidal de características de la cabeza:

• Propone un esquema de codificación piramidal de características de la cabeza para agregar las características a múltiples escalas del área de la cabeza.

• Mejora la capacidad de preservar la identidad facial y de recuperar detalles.

Splatting Gaussiano 3D (Gaussian Splatting):

• Representa el cuerpo humano en 3D mediante splatting gaussiano, lo que permite renderizado en tiempo real y de alta calidad, así como animación con control de pose.

Flujo del método LHM

• Imagen de entrada: se extraen los tokens de imagen del cuerpo y la cabeza a partir de la imagen de entrada.

• Fusión con Transformer multimodal: se utiliza el Multimodal Body-Head Transformer (MBHT) propuesto para fusionar los tokens geométricos 3D del cuerpo con los tokens de la imagen.

• Decodificación a parámetros gaussianos: tras el proceso de fusión basado en atención, los tokens geométricos del cuerpo se decodifican en parámetros gaussianos.

Resultados experimentales de LHM

• Reconstrucción rápida: LHM puede reconstruir un modelo humano 3D animable a partir de una sola imagen en pocos segundos, sin necesidad de postprocesado.

• Alta precisión y capacidad de generalización: experimentos en conjuntos de datos sintéticos y del mundo real demuestran que LHM alcanza niveles líderes en el sector en cuanto a precisión de reconstrucción, capacidad de generalización y consistencia de la animación.

• Detalles faciales y de las manos: LHM es capaz de generar detalles faciales y de las manos realistas, superando a los métodos existentes.

Características de LHM

• Reconstrucción rápida: LHM puede reconstruir un modelo humano 3D animable a partir de una sola imagen en pocos segundos, sin necesidad de postprocesado.

• Alta precisión y capacidad de generalización: experimentos en conjuntos de datos sintéticos y del mundo real demuestran que LHM alcanza niveles líderes en el sector en cuanto a precisión de reconstrucción, capacidad de generalización y consistencia de la animación.

• Renderizado en tiempo real y control de animación: el modelo reconstruido admite renderizado en tiempo real y animación con control de pose, siendo adecuado para aplicaciones inmersivas de AR/VR, entre otras.

Escenarios de aplicación de LHM

• Metaverso: ofrece a los usuarios avatares 3D personalizados, aumentando la inmersión en el mundo virtual.

• Producción audiovisual: genera rápidamente modelos de personajes 3D de alta calidad, mejorando la eficiencia de la producción.

• Desarrollo de videojuegos: crea personajes 3D realistas para los juegos, mejorando los efectos visuales.

Enlaces relacionados

Repositorio de código en GitHub:https://github.com/aigc3d/LHM

Página del proyecto:https://lingtengqiu.github.io/LHM/

Artículo:https://arxiv.org/abs/2503.10625