DreamActor-M1: framework de ByteDance para animar una foto con un vídeo de movimiento 120

¿Qué es DreamActor-M1?

DreamActor-M1 es un marco de animación de imágenes humanas basado en transformadores de difusión (DiT) presentado por ByteDance, similar al Act-One de Runway. Dada una imagen de referencia, DreamActor-M1 puede imitar el comportamiento humano capturado de un vídeo y producir vídeos muy expresivos y realistas a múltiples escalas (desde retratos hasta animación de cuerpo completo), resolviendo además los problemas de otros marcos en los que las expresiones y los movimientos no son lo suficientemente sutiles, los vídeos largos tienden a tener inconsistencias de detalle y aparecen fallos. Admite varios estilos de movimiento y su rendimiento es superior al de Act-One, Animate Everyone y SkyReels-A1.

Funciones principales de DreamActor-M1

• Conversión de fotos estáticas en imágenes dinámicas: mediante la combinación de una foto estática y un vídeo de movimiento de referencia, la persona de la foto se sustituye sin problemas en la escena del vídeo, generando imágenes dinámicas con expresiones detalladas, movimientos naturales y alta calidad de imagen.

• Control preciso: adopta un mecanismo de guía híbrida que combina señales de control como representación facial implícita, esfera 3D de la cabeza y esqueleto corporal 3D, logrando un control preciso de las expresiones faciales y los movimientos corporales del personaje.

• Transferencia flexible de movimiento: admite la transferencia de únicamente partes del movimiento, como expresiones faciales y movimientos de cabeza.

• Soporte de animación facial: puede ampliarse a animación facial impulsada por audio, logrando sincronización labial en varios idiomas.

• Animación consciente de la forma: mediante técnicas de ajuste de longitud ósea, permite generar animaciones adaptadas a la forma.

• Soporte de estilos diversos: es robusto frente a una gran variedad de personajes y estilos de movimiento.

• Soporte de múltiples puntos de vista: puede generar resultados de animación con diferentes posturas de cabeza.

Principios técnicos de DreamActor-M1

• Mecanismo de guía híbrida: combina señales de control como representación facial implícita, esfera 3D de la cabeza y esqueleto corporal 3D, garantizando que la animación generada sea altamente realista en los detalles y manteniendo al mismo tiempo la coordinación y fluidez generales.

• Adaptabilidad multiescala: mediante una estrategia de entrenamiento progresivo, puede procesar diversas posturas corporales e imágenes de diferentes resoluciones, admitiendo la conversión desde retratos hasta vistas de cuerpo completo.

• Consistencia temporal a largo plazo: mediante la integración de los patrones de movimiento y referencias visuales de fotogramas continuos, garantiza la coherencia temporal de las zonas no observadas durante movimientos complejos.

• Soporte de animación facial y voz: admite animación facial impulsada por audio, logrando sincronización labial en varios idiomas.

Escenarios de aplicación de DreamActor-M1

• Producción cinematográfica y televisiva: utilizado para generar animaciones de personajes virtuales.

• Sector publicitario: creación de anuncios dinámicos con personajes.

• Videojuegos: generación de animaciones de personajes en el juego.

• Presentadores virtuales: proporciona efectos de animación más naturales y realistas para presentadores virtuales.

• Educación y formación: creación de vídeos didácticos dinámicos, permitiendo a los personajes realizar diversos movimientos y expresiones.

• Redes sociales: generación de avatares dinámicos personalizados o vídeos cortos.

Enlaces del proyecto

Sitio web oficial del proyecto: https://grisoon.github.io/DreamActor-M1/

Artículo técnico en arXiv: https://arxiv.org/pdf/2504.01724