Motionshop: sustituye personajes en vídeo por avatares 3D 119

Motionshop, una herramienta de animación de personajes con IA, mediante procesamiento avanzado de vídeo y tecnología de renderizado 3D, Motionshop puede detectar automáticamente a las personas en el vídeo y reemplazarlas con modelos de personajes 3D de dibujos animados, generando vídeos de IA divertidos. Al mismo tiempo, no cambia otras escenas ni personas del vídeo; el personaje 3D reemplazado puede replicar completamente los movimientos de la persona en el vídeo original, manteniendo los movimientos consistentes.

Página del proyecto Motionshop:https://aigc3d.github.io/motionshop/

Principio técnico de Motionshop:

1. Procesamiento de vídeo y extracción del fondo: utilizando tecnología de procesamiento de vídeo, se separa a las personas del vídeo original, dejando el fondo sin personas. Este paso implica análisis y procesamiento de imágenes complejos para garantizar la integridad y coherencia del fondo.

Detección de personajes: Motionshop utiliza un marco basado en transformadores que fusiona estrechamente la información textual con los detectores de conjunto cerrado existentes, logrando detección de objetos sin ejemplos previos (zero-shot).

Segmentación y seguimiento: tras detectar con éxito el objetivo, se rastrea la región del objetivo a nivel de píxel mediante métodos de segmentación y seguimiento de objetos en vídeo.

Inpainting: las áreas restantes de la imagen en el vídeo se completan mediante técnicas de inpainting de vídeo, incluyendo la finalización recursiva de flujo y la propagación de doble dominio en los dominios de imagen y características.

2. Estimación de la pose: este paso utiliza tecnología de estimación de pose para analizar los movimientos de las personas en el vídeo. Implica la captura y el análisis de los movimientos del cuerpo humano, utilizando el método CVFFS para estimar posturas humanas estables y adoptando el modelo humanoide SMPL para representar el cuerpo humano en 3D.

3. Generación de animación de personajes 3D de dibujos animados: a partir de las posturas y movimientos estimados, se genera el personaje animado en 3D correspondiente. Este proceso garantiza que los movimientos del modelo 3D coincidan con los de la persona en el vídeo original.

4. Estimación de la iluminación: para que el modelo 3D se integre de manera más natural en el fondo del vídeo original, es necesario estimar las condiciones de iluminación del vídeo y aplicar el tratamiento de iluminación correspondiente al modelo 3D.

5. Renderizado de alto rendimiento: Motionshop utiliza un renderizador de trazado de rayos de alto rendimiento como TIDE para renderizar los modelos de personajes 3D de dibujos animados, garantizando un alto grado de realismo y efecto visual.

6. Composición del vídeo: por último, Motionshop compone los personajes 3D de dibujos animados renderizados de vuelta en el vídeo de fondo sin personas, generando el resultado final del vídeo.

Cómo usar Motionshop:

Sube un vídeo; la IA identifica automáticamente al sujeto en movimiento del vídeo y lo reemplaza con un solo clic por un modelo de personaje 3D divertido, generando un vídeo de IA único.

Paso 1: sube un vídeo que incluya a una persona (asegúrate de que la persona esté completa y de que la duración del vídeo no supere los 15 segundos);

Paso 2: selecciona a la persona del vídeo que deseas reemplazar (selección automática);

Paso 3: elige el modelo de personaje virtual para reemplazarlo y haz clic en generar; espera 10 minutos para obtener el resultado.

Motionshop básicamente puede sustituir a Wonder Studio. Wonder Studio puede automatizar la conversión y sustitución de personas en escenas reales por personajes CG, además de realizar animación, iluminación y composición.