Open-Sora 2.0: ein Open-Source-SOTA-Videogenerierungsmodell von Colossal-AI 208

Was ist Open-Sora 2.0?

Open-Sora 2.0 ist ein brandneues Open-Source-SOTA-Videogenerierungs-KI-Modell, das von Luchentech entwickelt wurde. Mit nur 200.000 US-Dollar (224 GPUs) wurde erfolgreich ein kommerzielles Videogenerierungs-Großmodell mit 11B-Parametern trainiert, das eine nahezu SOTA- (State-of-the-Art) Qualität erreicht, dessen Leistung jedoch direkt mit HunyuanVideo und dem 30B-Parameter-Modell Step-Video von StepFun mithalten kann – fast auf dem Niveau von OpenAI Sora! Open-Sora 2.0 verfügt über effizientes Training und Inferenzoptimierung, kann flüssige Videos mit 720p-Auflösung schnell generieren und eignet sich für Bereiche wie kreative Videoproduktion und die Erstellung von Social-Media-Inhalten.

Funktionsmerkmale von Open-Sora 2.0

Videoerstellung in hoher Qualität: Unterstützt die Generierung von Videos mit 720p-Hochauflösung und flüssigen 24 FPS, in der Lage, detailreiche Videos mit natürlichen Szenenwechseln zu erzeugen.

Steuerbare Bewegungsamplitude: Die Bewegungsamplitude kann nach Bedarf eingestellt werden, um die feinen Bewegungen von Personen oder Szenen besser darzustellen.

Hohe Leistung und niedrige Kosten:

• Open-Sora 2.0 nutzt eine Modellgröße von 11B Parametern, dessen Leistung mit gängigen Closed-Source-Großmodellen (wie HunyuanVideo und dem 30B-Parameter-Modell von StepFun) vergleichbar ist oder diese sogar übertrifft, und zeigt hervorragende Ergebnisse in VBench- und menschlichen Präferenztests.

• Die Trainingskosten sind deutlich gesenkt: Das Training kann mit nur 200.000 US-Dollar (224 GPUs) abgeschlossen werden, was im Vergleich zu herkömmlichen Hochleistungs-Videogenerierungsmodellen eine Kostenreduktion um das 5- bis 10-fache bedeutet. Es ist vergleichbar mit OpenAI Sora.

Mehrere Generierungsmethoden:

• Text-zu-Video: Unterstützt die direkte Generierung entsprechender Videoinhalte aus Textbeschreibungen.

• Bild-zu-Video: Kombiniert mit Open-Source-Bildmodellen, um Videos auf Basis von Bildern zu erzeugen.

Effizientes Training und Optimierung:

• Verwendet einen mehrstufigen, mehrschichtigen Datenfiltermechanismus, um qualitativ hochwertige Dateneingaben sicherzustellen und die Trainingseffizienz zu verbessern.

• Trainiert bevorzugt bei niedriger Auflösung, erlernt wichtige dynamische Merkmale und erhöht schrittweise die Auflösung, wodurch der Rechenaufwand erheblich reduziert wird.

• Trainiert bevorzugt die Bild-zu-Video-Aufgabe, nutzt Bildmerkmale zur Steuerung der Videogenerierung und beschleunigt die Modellkonvergenz.

• Kombiniert ColossalAI und Systemebenen-Optimierungen, um die Auslastung der Rechenressourcen zu verbessern.

• Führt einen hochkomprimierten Video-Autoencoder ein, der die Inferenzzeit auf unter 3 Minuten pro GPU verkürzt und die Inferenzgeschwindigkeit um das 10-fache erhöht.

Leistungsstarke Modellarchitektur:

• Basiert auf einem 3D-Autoencoder, einem 3D-Full-Attention-Mechanismus und der MMDiT-Architektur, was die Trainingseffizienz und Inferenzgeschwindigkeit deutlich verbessert.

• Durch einen Multi-Bucket-Trainingsmechanismus wird das gleichzeitige Training unterschiedlicher Videolängen und Auflösungen ermöglicht.

Technologische Durchbrüche von Open-Sora 2.0

• Modellarchitektur: Verwendet einen 3D-Full-Attention-Mechanismus und die MMDiT-Architektur, um die Modellierung räumlich-zeitlicher Merkmale zu verbessern; basiert auf einer Erweiterung des Diffusion Transformers (DiT) mit eingeführten zeitlichen Attention-Schichten, um eine dynamische Generierung von Videosequenzen zu ermöglichen.

• Effiziente Trainingsstrategie: Durch einen mehrstufigen Filtermechanismus wird die Eingabe qualitativ hochwertiger Trainingsdaten sichergestellt, es werden bevorzugt Bewegungsmerkmale erlernt, und anschließend wird die Bildqualität durch Bild-zu-Video (T2I2V) verbessert, wodurch 40-fache Rechenressourcen eingespart werden.

• Inferenzbeschleunigungs-Revolution: Verwendet einen hochkomprimierten Autoencoder (4×32×32 Komprimierungsverhältnis), der die Generierungszeit für 768px-Videos von 30 Minuten auf 3 Minuten verkürzt – eine 10-fache Geschwindigkeitssteigerung.

Anwendungsszenarien von Open-Sora 2.0

• Kreative Videoproduktion: Kann zur Erstellung von Science-Fiction-Kurzfilmen, Animationskurzfilmen usw. verwendet werden und erfüllt die Anforderungen an kreative Videoproduktion und Inhaltserstellung.

• Social-Media-Content-Generierung: Kann hochwertige Videoinhalte erstellen, die sich für das Teilen in sozialen Medien eignen.

• Game-Video-Produktion: Bietet Komfort bei der Erstellung von Game-Videos.

GitHub Open-Source-Repository:https://github.com/hpcaitech/Open-Sora

Technischer Bericht:https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf