SkyReels-A2: modelo de generación que ensambla elementos visuales arbitrarios en vídeo sintético 134

¿Qué es SkyReels-A2?

SkyReels-A2 es un marco de generación de vídeo controlable desarrollado conjuntamente por Skywork ai y Kunlun Wanwei, capaz de ensamblar cualquier elemento visual (como personajes, objetos, fondos, etc.) en un vídeo sintético a partir de instrucciones de texto. El vídeo resultante es fluido y natural, y mantiene una buena coherencia entre todos los elementos.

Características principales de SkyReels-A2

• Generación de vídeo con múltiples elementos: puede generar vídeos de alta calidad y naturales a partir de varias imágenes de referencia y prompts de texto.

• Mantenimiento estricto de la coherencia: garantiza que cada elemento del vídeo generado (como personajes, objetos o fondos) se mantenga estrictamente coherente con las imágenes de referencia.

• Generación controlable: mediante prompts de texto e imágenes de referencia, los usuarios pueden controlar con precisión el contenido del vídeo generado.

• Inferencia eficiente: se ha optimizado el proceso de inferencia para aumentar la velocidad de generación y la estabilidad del resultado.

Detalles técnicos de SkyReels-A2

• Modelo de incrustación conjunta imagen-texto: se ha diseñado un novedoso modelo de incrustación conjunta imagen-texto que inyecta representaciones de múltiples elementos en el proceso de generación, equilibrando la coherencia específica de cada elemento con la coherencia global y la alineación con el texto.

• Diseño del pipeline de datos: se ha construido un pipeline de datos completo para generar tripletas de texto-referencia-vídeo utilizadas en el entrenamiento del modelo.

• Flujo de inferencia optimizado: el flujo de inferencia se ha optimizado mediante varias estrategias de aceleración (como Context Parallel, CFG Parallel y VAE Parallel) para aumentar la velocidad de generación.

• Benchmark público: se ha introducido un benchmark cuidadosamente elaborado, A2-Bench, para la evaluación sistemática de las tareas de elemento a vídeo (E2V).

SkyReels-A2 Escenarios de aplicación

SkyReels-A2 tiene amplias perspectivas de aplicación en el campo creativo, como la creación de cortometrajes con IA y el comercio electrónico virtual.

• Creación de cortometrajes con IA: los creadores pueden generar rápidamente cortometrajes personalizados.

• Publicidad y promoción: las empresas pueden producir cortometrajes publicitarios de bajo coste y alta calidad.

• Comercio electrónico virtual: generación de vídeos atractivos de presentación de productos.

• Desarrollo de videojuegos: generación rápida de animaciones de la trama del juego o vídeos de presentación de personajes.

Proyecto en GitHub: https://github.com/SkyworkAI/SkyReels-A2

Hugging Face: https://huggingface.co/Skywork/SkyReels-A2