SkyReels-V1 : le premier modèle chinois de génération vidéo pour la création de courts-métrages IA 116

SkyReels-V1 de Kunlun Wanwei est le premier modèle de génération de vidéo en Chine dédié à la création de courts-métrages IA. Il permet de générer des performances au niveau cinématographique avec des micro-expressions des personnages, prend en charge 33 expressions faciales subtiles ainsi que plus de 400 combinaisons de mouvements naturels, et reproduit fidèlement l'expression émotionnelle de personnes réelles.

Fonctionnalités et caractéristiques de SkyReels-V1

• Interprétation cinématographique des micro-expressions des personnages : il prend en charge 33 expressions faciales subtiles et plus de 400 combinaisons de mouvements naturels, reproduisant fidèlement l'expression émotionnelle de personnes réelles.

• Art cinématographique de la lumière et des ombres : entraîné sur des données vidéo de haute qualité de niveau hollywoodien, chaque image générée présente une qualité cinématographique en termes de composition, de positionnement des acteurs et d'angles de caméra.

• Plusieurs modes de génération vidéo : c'est le modèle de génération vidéo open source doté du plus grand nombre de paramètres et prenant en charge la génération vidéo à partir d'images, atteignant des performances de pointe dans le domaine open source à résolution équivalente.

• Forte capacité de compréhension vidéo centrée sur les personnages : en tant que grand modèle multimodal de compréhension vidéo centré sur l'humain, il améliore la compréhension du contenu lié aux personnages dans les vidéos, couvrant la reconnaissance des expressions cinématographiques, la perception de la position spatiale des personnages, la compréhension des intentions comportementales et la compréhension des scènes de performance.

• Efficacité d'inférence extrêmement élevée : grâce au cadre d'optimisation d'inférence développé en interne « SkyReels-Infer », l'efficacité d'inférence est considérablement améliorée. Il permet une inférence en 544p en seulement 80 secondes sur une seule carte graphique 4090, et prend en charge le parallélisme distribué sur plusieurs cartes.

Scénarios d'application de SkyReels-V1 :

• Création de courts-métrages IA : génération de contenus de courts-métrages avec des détails de performance élevés et une qualité cinématographique, résolvant efficacement les problèmes de processus de production lourds, de coûts élevés et de cycles longs de la production traditionnelle de courts-métrages.

• Création de contenu pour les réseaux sociaux : production rapide de contenus de courts-métrages de haute qualité, renforçant l'attractivité du contenu.

• Production de publicités de marque : génération rapide de contenus créatifs de courts-métrages correspondant à la tonalité de la marque, économisant du temps et des coûts de production.

• Éducation et formation : génération de vidéos éducatives présentant le contenu des cours de manière vivante.

• Divertissement et personnages virtuels : création d'idoles virtuelles, d'animations de transition de jeux, ou fourniture de contenu d'animateurs virtuels pour les plateformes de streaming.
  

Méthode d'utilisation de SkyReels-V1

• Accéder à l'adresse open source : vous pouvez accéder à l'adresse open source de SkyReels-V1 : https://github.com/SkyworkAI/SkyReels-V1

• Téléchargement et installation : téléchargez et installez SkyReels-V1 ainsi que ses dépendances conformément au protocole open source.

• Préparation des données : utilisez le pipeline propriétaire de nettoyage de données de haute qualité et d'annotation manuelle pour construire un ensemble de données de haute qualité de plusieurs millions de films, séries TV et documentaires.

• Entraînement et fine-tuning du modèle : entraînez et affinez SkyReels-V1 sur la base du grand modèle multimodal de compréhension vidéo « Human-Centric » développé en interne, afin d'améliorer ses capacités en termes d'interprétation des personnages, de compréhension des scènes, etc.

• Génération de vidéos : utilisez le modèle entraîné pour générer des vidéos, en prenant en charge les deux modes de génération vidéo à partir de texte et de génération vidéo à partir d'images.

• Optimisation et déploiement : optimisez et déployez le modèle à l'aide du cadre d'optimisation d'inférence développé en interne « SkyReels-Infer », afin d'améliorer l'efficacité d'inférence et de réduire la consommation de ressources.

Liens connexes :

Github : https://github.com/SkyworkAI/SkyReels-V1

Rapport technique : https://skyworkai.github.io/skyreels-a1.github.io/report.pdf