SkyReels-V1: el primer modelo chino de generación de vídeo para cortos con IA 123

昆仑万维 SkyReels-V1 es el primer modelo de generación de vídeo en China orientado a la creación de ai cortometrajes, capaz de generar interpretaciones de microexpresiones faciales de nivel cinematográfico. Admite 33 tipos de expresiones faciales sutiles y más de 400 combinaciones de movimientos naturales, reproduciendo con alta fidelidad la expresión emocional de personas reales。

Características y funciones de SkyReels-V1

• Interpretación de microexpresiones faciales de nivel cinematográfico: admite 33 tipos de expresiones faciales sutiles y más de 400 combinaciones de movimientos naturales, reproduciendo con alta fidelidad la expresión emocional de personas reales.

• Arte cinematográfico de iluminación y sombras: entrenado con datos de vídeo de alta calidad a nivel de Hollywood, cada fotograma generado presenta una calidad cinematográfica en cuanto a composición, posicionamiento de los actores, ángulos de cámara, etc.

• Variedad de modos de generación de vídeo: es el modelo de generación de vídeo de código abierto con la mayor escala de parámetros y que admite la generación de vídeo a partir de imágenes, alcanzando niveles avanzados en el ámbito de código abierto en varios indicadores con la misma resolución.

• Fuerte capacidad de comprensión de vídeo de personajes: como modelo multimodal grande de comprensión de vídeo centrado en las personas, puede mejorar la capacidad de comprensión de contenidos relacionados con personajes en el vídeo, incluyendo el reconocimiento de expresiones cinematográficas, la percepción de la posición espacial de los personajes, la comprensión de la intención del comportamiento y la comprensión de escenas interpretativas.

• Alta eficiencia de inferencia: con la ayuda de su propio marco de optimización de inferencia "SkyReels-Infer", la eficiencia de inferencia mejora enormemente. Puede realizar inferencia a resolución 544p con una sola tarjeta gráfica 4090 en solo 80 segundos, y admite paralelismo distribuido en múltiples tarjetas.

Escenarios de aplicación de SkyReels-V1:

• Creación de cortometrajes con IA: genera contenido de cortometrajes con detalles interpretativos de alta calidad y质感 cinematográfica, resolviendo eficazmente los problemas de los procesos de producción tradicionales de cortometrajes, que son engorrosos, costosos y prolongados.

• Creación de contenido para redes sociales: produce rápidamente contenido de cortometrajes de alta calidad, aumentando el atractivo del contenido.

• Producción de publicidad de marca: genera rápidamente contenido de cortometrajes creativos que se ajusta al tono de la marca, ahorrando tiempo y costes de producción.

• Educación y formación: genera vídeos educativos para mostrar los contenidos del curso de forma vívida.

• Entretenimiento y personajes virtuales: crea ídolos virtuales, animaciones de transición de juegos o proporciona contenidos de presentadores virtuales en plataformas de streaming en directo.
  

Cómo usar SkyReels-V1

• Acceder a la dirección de código abierto: puede acceder a la dirección de código abierto de SkyReels-V1: https://github.com/SkyworkAI/SkyReels-V1

• Descarga e instalación: descargue e instale SkyReels-V1 y sus dependencias de acuerdo con el protocolo de código abierto.

• Preparación de datos: utilice su propia canalización de limpieza de datos de alta calidad y anotación manual para construir un conjunto de datos de millones de níveles de películas, series de televisión y documentales de alta calidad.

• Entrenamiento y ajuste fino del modelo: basándose en su propio modelo multimodal grande de comprensión de vídeo "Human - Centric", entrene y ajuste fino SkyReels-V1 para mejorar sus capacidades en interpretación de personajes, comprensión de escenas, etc.

• Generar vídeo: utilice el modelo entrenado para generar vídeos, que admite dos modos: generación de vídeo a partir de texto y generación de vídeo a partir de imágenes.

• Optimización y despliegue: utilice su propio marco de optimización de inferencia "SkyReels - Infer" para optimizar y desplegar el modelo, mejorando la eficiencia de inferencia y reduciendo el consumo de recursos.

Enlaces relacionados:

Github: https://github.com/SkyworkAI/SkyReels-V1

Informe técnico: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf