SkyReels-V1: Chinas erstes Videogenerierungsmodell für KI-Kurzfilme 114

Kunlun Wanwei SkyReels-V1 ist Chinas erstes Videogenerierungsmodell für die Erstellung von KI-Kurzfilmen. Es ermöglicht die Generierung von filmreifen Mikromimik-Performances und unterstützt 33 detaillierte Gesichtsausdrücke sowie über 400 natürliche Bewegungskombinationen, um emotionale Ausdrucksweise von echten Personen originalgetreu nachzubilden.

Funktionsmerkmale von SkyReels-V1

• Filmreife Mikromimik-Darstellung: Unterstützt 33 detaillierte Gesichtsausdrücke sowie über 400 natürliche Bewegungskombinationen und stellt emotionale Ausdrucksweise von echten Personen originalgetreu nach.

• Filmreife Licht- und Schattenkunst: Das Modell wurde auf hochwertigen Filmdaten auf Hollywood-Niveau trainiert, sodass jedes generierte Einzelbild in Bezug auf Komposition, Position der Darsteller, Kamerawinkel und mehr eine filmreife Qualität aufweist.

• Videogenerierung mit vielfältigen Modi: Es ist das Open-Source-Videogenerierungsmodell mit der größten Parameteranzahl und unterstützt Bild-zu-Video. Bei gleicher Auflösung erreicht es in allen Metriken ein fortschrittliches Niveau im Open-Source-Bereich.

• Starke Personenverständnis-Fähigkeit: Als personenzentriertes multimodales Großmodell für das Videoverständnis verbessert es die Fähigkeit, personenbezogene Inhalte in Videos zu verstehen, einschließlich filmischer Emotionserkennung, räumlicher Positionswahrnehmung von Personen, Verständnis von Handlungsabsichten und Verständnis von Performanceszenen.

• Hohe Inferenz-Effizienz: Mit Hilfe des selbst entwickelten Inferenz-Optimierungs-Frameworks „SkyReels-Infer“ wird die Inferenz-Effizienz deutlich gesteigert. So werden bei 544p-Auflösung nur 80 Sekunden für die Inferenz auf einer einzelnen 4090-GPU benötigt, und verteiltes Multi-GPU-Parallel-Computing wird unterstützt.

Anwendungsszenarien von SkyReels-V1:

• Erstellung von KI-Kurzfilmen: Generierung von Kurzfilmen mit hoher Performancedetailtiefe und filmreifer Qualität, wodurch die Probleme umständlicher Prozesse, hoher Kosten und langer Produktionszyklen in der traditionellen Kurzfilmproduktion effektiv gelöst werden.

• Content-Erstellung für soziale Medien: Schnelle Produktion von hochwertigen Kurzfilmen zur Steigerung der Attraktivität der Inhalte.

• Erstellung von Markenwerbung: Rasche Generierung von kreativen Kurzfilmen, die zum Markenimage passen, und somit Einsparung von Produktionszeit und -kosten.

• Bildung und Schulung: Erstellung von Lehrvideos, die Kursinhalte auf anschauliche Weise präsentieren.

• Unterhaltung und virtuelle Charaktere: Erstellung virtueller Idole, Spiel-Cutscenes oder Bereitstellung virtueller Moderatoren-Inhalte für Livestreaming-Plattformen.
  

Verwendung von SkyReels-V1

• Open-Source-Adresse aufrufen: Sie können die Open-Source-Adresse von SkyReels-V1 aufrufen: https://github.com/SkyworkAI/SkyReels-V1

• Download und Installation: Laden Sie SkyReels-V1 sowie dessen Abhängigkeiten gemäß der Open-Source-Lizenz herunter und installieren Sie sie.

• Datenaufbereitung: Mithilfe der selbst entwickelten Pipeline zur Datenbereinigung und manuellen Annotation wird ein hochwertiger Datensatz aus Millionen von Filmen, Fernsehserien und Dokumentationen erstellt.

• Modelltraining und Feintuning: Basierend auf dem selbst entwickelten personenzentrierten multimodalen Großmodell für das Videoverständnis („Human - Centric“) wird SkyReels-V1 trainiert und feinjustiert, um die Fähigkeiten in den Bereichen Personenperformance und Szenenverständnis zu verbessern.

• Videogenerierung: Verwendung des trainierten Modells zur Videogenerierung, mit Unterstützung für die beiden Modi Text-zu-Video und Bild-zu-Video.

• Optimierung und Bereitstellung: Mithilfe des selbst entwickelten Inferenz-Optimierungs-Frameworks „SkyReels - Infer“ wird das Modell optimiert und bereitgestellt, um die Inferenz-Effizienz zu steigern und den Ressourcenverbrauch zu senken.

Zugehörige Links:

Github: https://github.com/SkyworkAI/SkyReels-V1

Technischer Bericht: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf