Open-Sora 1.1公開:映像品質と生成時間が大幅に向上 201

小编 ·

Open-Sora 1.1公開:映像品質と生成時間が大幅に向上

Open-Sora 1.1公開:映像品質と生成時間が大幅に向上

AOuPMh.jpg

本日、Open-Sora-Plan v1.1.0を公開できることを大変嬉しく思います。本バージョンでは、動画生成の品質と持続時間、そしてテキスト制御機能が大幅に向上しました。従来のOpen-Sora-Plan v1.1.0バージョンと比較して、改善された点は以下の通りです:

より優れた圧縮視覚表現:CausalVideoVAEアーキテクチャを最適化し、より強力な性能と推論効率を実現しました。

より高い生成品質とより長い生成時間:より高品質な視覚データとキャプション、およびShareGPT4Videoによる長時間動画への注釈付け能力を活用することで、より高品質でより長い動画の生成が可能になりました。

これらの性能向上に加えて、Open-Sora-Plan v1.1.0はv1.0.0のミニマルなデザインとデータ効率を維持しています。注目すべきは、v1.1.0がSoraベースモデルと同様の性能を示しており、本バージョンの進化がSoraデモのスケーリング法則と一致していることを示唆している点です。

コミュニティの動画生成の将来の発展を促進するため、Open-Sora-Planをオープンソース化します。コード、データ、モデルは公開で提供されます。

デモ:Hugging Faceデモはこちら。

コード:すべてのトレーニングスクリプトとサンプルスクリプト。

モデル:Diffusion ModelとCasualVideoVAEはこちら。

データ:生の動画と字幕はこちら。

GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

オンライン体験:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0は、transformerベースのテキストから動画への拡散システムであり、T5ベースのテキスト埋め込みで学習されています。