Open-Sora 1.1 veröffentlicht: deutliche Verbesserungen bei Videoqualität und -dauer 204

Heute freuen wir uns, Open-Sora-Plan v1.1.0 vorzustellen, das die Qualität und Dauer der Videogenerierung sowie die Textsteuerungsfunktionen erheblich verbessert.Im Vergleich zur vorherigen Version Open-Sora-Plan v1.1.0 wurden folgende Verbesserungen vorgenommen:

Bessere komprimierte visuelle Darstellung: Wir haben die CausalVideoVAE-Architektur optimiert, die nun eine stärkere Leistung und eine höhere Inferenzeffizienz aufweist.

Höhere Generierungsqualität und längere Dauer: Wir haben qualitativ hochwertigere visuelle Daten und Beschriftungen sowie die Fähigkeit von ShareGPT4Video zur Annotation langer Videos verwendet, wodurch wir Videos in höherer Qualität und mit längerer Dauer erzeugen können.

Neben den Leistungsverbesserungen behält Open-Sora-Plan v1.1.0 auch das minimalistische Design und die Dateneffizienz von v1.0.0 bei. Bemerkenswert ist, dass v1.1.0 eine ähnliche Leistung wie das Sora-Basismodell zeigt, was darauf hindeutet, dass die Entwicklung unserer Version mit den Skalierungsgesetzen der Sora-Demo übereinstimmt.

Wir haben Open-Sora-Plan als Open Source veröffentlicht, um die zukünftige Entwicklung der Video-Generierung in der Community zu fördern. Code, Daten und Modelle werden öffentlich zur Verfügung gestellt.

Demo: Die Hugging Face Demo finden Sie hier.

Code: Alle Trainings- und Beispielskripte.

Modelle: Hier finden Sie das Diffusion Model und CasualVideoVAE.

Daten: Hier finden Sie die Originalvideos und Untertitel.

GitHub: https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

Online testen: https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0 ist ein transformer-basiertes Text-zu-Video-Diffusionssystem, das mit T5-basierten Text-Embeddings trainiert wurde.