TaoAvatar: el proyecto de humano digital interactivo de alta fidelidad y ligero de Alibaba 210

¿Qué es TaoAvatar?

TaoAvatar es una tecnología de avatar digital de cuerpo completo, interactiva, de alta fidelidad y ligera, desarrollada sobre la tecnología de splatting gaussiano 3D (3D Gaussian Splatting, 3DGS). Crea una plantilla paramétrica personalizada de una persona vestida y vincula los puntos gaussianos a dicha plantilla para representar la apariencia, logrando así la generación de avatares digitales de cuerpo completo muy realistas. La principal ventaja de TaoAvatar es que puede ejecutarse en tiempo real en dispositivos móviles y dispositivos de RA, manteniendo al mismo tiempo un renderizado de alta resolución y unos requisitos de almacenamiento reducidos.

Funcionalidades de TaoAvatar

• Renderizado de alta fidelidad: TaoAvatar puede generar avatares digitales 3D de cuerpo completo extremadamente realistas, compatibles con renderizado de alta resolución y, al mismo tiempo, con bajos requisitos de almacenamiento.

• Interacción en tiempo real: esta tecnología puede ejecutarse en tiempo real en diversos dispositivos móviles y de RA, siendo compatible con renderizado a una alta tasa de 90 FPS, lo que la hace adecuada para dispositivos estéreo de alta definición como Apple Vision Pro.

• Impulsada por múltiples señales: TaoAvatar puede ser controlada por diversas señales, incluyendo expresiones faciales, gestos y posturas corporales, lo que permite una experiencia de interacción rica.

• Arquitectura ligera: al "hornear" las complejas deformaciones no rígidas en una red MLP ligera y combinar morphs para compensar los detalles, TaoAvatar mejora significativamente la eficiencia de ejecución manteniendo un renderizado de alta calidad.

Aplicaciones de TaoAvatar

• Retransmisiones de comercio electrónico: TaoAvatar puede emplearse para crear presentadores virtuales realistas.

• Comunicación holográfica: en las comunicaciones a distancia, TaoAvatar es capaz de generar avatares virtuales realistas.

• Entretenimiento virtual: en aplicaciones de juegos y realidad virtual, TaoAvatar permite crear personajes virtuales personalizados.

• Dispositivos móviles y de RA: TaoAvatar es compatible con una amplia variedad de dispositivos móviles y de RA, como Android, MacBook y Apple Vision Pro, entre otros.

¿Cómo utilizar TaoAvatar?

1. Preparación de los datos: se necesitan secuencias de vídeo RGB desde múltiples viewpoints y la información de registro SMPLX correspondiente.

2. Creación de la plantilla: se crea una plantilla paramétrica personalizada de una persona vestida vinculando los puntos gaussianos a la plantilla SMPLX++.

3. Entrenamiento y optimización: se preentrena la red StyleUnet y, a continuación, mediante destilación de conocimiento, se hornean las deformaciones no rígidas en una red MLP ligera.

4. Despliegue y ejecución: se despliega el modelo optimizado en el dispositivo de destino, compatible con renderizado e interacción en tiempo real.

Enlaces relacionados

Proyecto: https://pixelai-team.github.io/TaoAvatar/

Artículo: https://arxiv.org/pdf/2503.17032

Modelo: https://huggingface.co/datasets/PixelAI-Team/TalkBody4D