Vid2Avatar-Pro: Genera avatares humanos 3D realistas a partir de vídeo monocular 187

¿Qué es Vid2Avatar-Pro?

Vid2Avatar-Pro es una tecnología capaz de crear avatares humanos en 3D realistas y animables a partir de vídeos monoculares convencionales. Es una versión mejorada de Vid2Avatar que, mediante la introducción de un Modelo de Prior Universal (Universal Prior Model, UPM) y un método optimizado de representación 3D, aumenta el realismo y la capacidad de generalización de los avatares.

Características de Vid2Avatar-Pro

• Alto realismo y animabilidad: Vid2Avatar-Pro puede generar avatares 3D realistas a partir de vídeos monoculares convencionales y admite animaciones de movimientos complejos.

• Renderizado multivista: los avatares generados pueden renderizarse desde cualquier punto de vista, lo que resuelve el problema de las perspectivas limitadas de los métodos tradicionales.

• Soporte de movimientos variados: los avatares pueden realizar una amplia variedad de movimientos complejos, como jugar al bádminton, tocar la batería, saltar a la pata coja, entre otros.

• Modelo de Prior Universal (UPM): mediante un modelo de prior universal preentrenado con datos multivista a gran escala, se mejora significativamente la capacidad de generalización a nuevas posturas y puntos de vista.

Casos de uso de Vid2Avatar-Pro

• Producción audiovisual: reconstrucción del modelo 3D de los actores a partir de vídeos convencionales para la creación de efectos especiales.

• Realidad Virtual (VR) y Realidad Aumentada (AR): creación de personajes virtuales realistas que aumentan la sensación de inmersión.

• Moda y comercio electrónico: reconstrucción del modelo 3D del usuario a partir de vídeo para permitir probadores virtuales.

• Análisis deportivo: reconstrucción del modelo de los atletas a partir de vídeos de competición para analizar los detalles de sus movimientos.

• Rehabilitación médica: registro y análisis de los movimientos del paciente durante el proceso de rehabilitación.

Principio técnico de Vid2Avatar-Pro

Modelo de Prior Universal (UPM)

• Fase de preentrenamiento: el UPM se entrena con datos a gran escala, multivista y dinámicos de personas vestidas interpretando, de modo que captura las características generales del aspecto y la postura humana.

• Fase de ajuste fino: sobre un vídeo monocular野外 dado, el UPM preentrenado se ajusta mediante técnicas de renderizado inverso para recuperar los detalles de la persona concreta.

Representación 3D mediante Gaussianas

• Se utiliza una representación 3D mediante gaussianas sobre mapas canónicos frontales y traseros para construir el avatar; estos mapas se comparten entre las distintas identidades.

• Los parámetros de postura y forma de entrenamiento se sintetizan mediante Linear Blend Skinning (LBS) hacia adelante y técnicas de rasterización.

Descomposición auto-supervisada de la escena

• No depende de módulos externos de segmentación y separa directamente la persona del fondo en 3D.

• La persona y el fondo se parametrizan mediante dos campos neuronales independientes, lo que resuelve las tareas de descomposición de la escena y reconstrucción de superficies.

Estrategia de optimización

• Se introduce una estrategia de muestreo de grueso a fino y una innovadora función objetivo que permite separar con claridad al humano dinámico del fondo estático.

• Se optimizan el modelo de fondo, la forma y textura humanas canónicas, así como los parámetros de postura humana por fotograma.

Cómo usar Vid2Avatar-Pro

1. Preparación de los datos:

• Se utiliza ROMP para obtener la forma y postura SMPL iniciales.

• Se utiliza OpenPose para extraer los puntos clave.

2. Entrenamiento del modelo:

• Se optimizan conjuntamente el modelo de fondo, la forma, la textura y los parámetros de postura del cuerpo.

• Se realiza el ajuste fino utilizando el modelo UPM preentrenado.

3. Generación y renderizado:

• Se utiliza el modelo entrenado para generar el avatar 3D final.

• El renderizado multivista se logra mediante técnicas de renderizado inverso.

4. Generación de animaciones:

• El avatar se vincula a una nueva secuencia de movimientos para conseguir animaciones variadas.

Enlace al artículo:https://moygcc.github.io/vid2avatar-pro/static/CVPR2025_Vid2Avatar_Pro.pdf

Página del proyecto:https://moygcc.github.io/vid2avatar-pro/