Magic Animate_云技派,专注ai人工智能! 127

Magic Animate es un proyecto de código abierto pionero que simplifica la creación de animaciones, permitiéndole producir vídeos animados a partir de una sola imagen y un vídeo dinámico. En términos sencillos, dado una imagen de referencia y una secuencia de poses (vídeo), puede generar un vídeo animado que sigue el movimiento de las poses y mantiene las características de identidad de la imagen de referencia. Desarrollado por Show Lab de la Universidad Nacional de Singapur y ByteDance.

Magic Animate ofrece la mayor consistencia entre todas las soluciones de vídeo de baile, sin embargo, la cara y las manos en Magic Animate pueden presentar algunas distorsiones. La configuración predeterminada puede provocar una transición de estilo del anime al realismo, especialmente en las caras del vídeo. Aplicar un estilo anime a un vídeo de control DensePose por defecto también puede afectar las proporciones corporales.

Dirección del sitio web oficial de Magic Animate:www.magicanimate.org

Funciones principales de MagicAnimate:

• Crear animaciones a partir de una sola imagen y un vídeo dinámico

• Mantener la consistencia temporal

• Preservar la imagen de referencia

• Mejorar la fidelidad de la animación

• Integración con modelos de difusión T2I como DALLE3

• Animación entre identidades y animación de dominios desconocidos

• Animación de imágenes con indicaciones de texto

• Mantener alta consistencia en soluciones de vídeo de baile

¿Cómo usar MagicAnimate?

Para usar Magic Animate, necesita descargar los modelos base preentrenados de StableDiffusion V1.5 y MSE-finetuned VAE. Luego, puede instalar las dependencias necesarias y activar el entorno conda. Después, suba una foto estática de una persona, suba el vídeo demo del movimiento que desea generar y ajuste los parámetros. Posteriormente, puede probar la demostración en línea en Huggingface o Replicate. Además, puede usar la API de Replicate para generar vídeos animados mediante programación.