MimicMotion: proyecto de generación de vídeos con movimiento 123

De Tencent y la Universidad Jiao Tong de Shanghái, MimicMotion es un marco de generación de vídeo de alta calidad capaz de generar vídeos de cualquier duración, con cualquier guía de movimiento. Puede generar vídeos de acciones humanas realistas y ricos en detalles, producir contenidos de vídeo de cualquier longitud y permitir un control preciso sobre el contenido, incluyendo movimientos, posturas y estilo del vídeo.

Similar al Rey del Baile Tongyi de Alibaba, pero con resultados que parecen mucho mejores que los de aquel. MimicMotion admite características faciales y sincronización de labios, por lo que no solo sirve para crear vídeos de baile, sino también para hacer humanos digitales.

En los últimos años, la inteligencia artificial generativa ha logrado avances significativos en el campo de la generación de imágenes, dando lugar a múltiples aplicaciones. Sin embargo, la generación de vídeo todavía enfrenta desafíos considerables en cuanto a controlabilidad, duración del vídeo y riqueza de detalles, lo que dificulta la aplicación y difusión de esta tecnología. En este trabajo, proponemos un marco de generación de vídeo controlable llamado MimicMotion, que puede generar vídeos de alta calidad de cualquier longitud bajo cualquier guía de movimiento. En comparación con métodos anteriores, nuestro enfoque

cuenta con varios aspectos destacados.

En primer lugar, mediante una guía de postura basada en confianza, se logra una suavidad temporal, lo que permite mejorar la coherencia y fluidez del modelo con datos de entrenamiento a gran escala.

En segundo lugar, la pérdida regional basada en la confianza de la postura amplifica de forma significativa y reduce la distorsión de la imagen, lo que disminuye notablemente las distorsiones y deformaciones en las imágenes generadas.

Por último, para generar vídeos largos y fluidos, se propone una estrategia de fusión progresiva en el espacio latente. De esta manera, se puede conseguir la generación de vídeos de cualquier longitud con un consumo aceptable de recursos computacionales.

A través de numerosos experimentos y estudios con usuarios, MimicMotion muestra mejoras evidentes respecto al método del Rey del Baile Tongyi de Alibaba en múltiples aspectos.

Código de MimicMotion:https://github.com/Tencent/MimicMotion

Versión ComfyUI de MimicMotion:https://github.com/aiFSH/ComfyUI-MimicMotion