Open-Sora 2.0：潞晨科技推出的オープンソースSOTA動画生成モデル 215

Open-Sora 2.0とは？

Open-Sora 2.0は、潞晨科技が発表した最新のオープンソースSOTA動画生成AIモデルです。わずか20万ドル（224枚のGPU）で、商業レベルの11Bパラメータを持つ動画生成大規模モデルの訓練に成功し、SOTA（最先端）品質に近い性能を実現しました。その性能はHunyuanVideoや30BパラメータのStep-Video（階躍星程）に迫り、OpenAI Soraに近いレベルです！Open-Sora 2.0は効率的な訓練と推論の最適化を備えており、720p解像度のスムーズな動画を高速に生成することができ、クリエイティブ動画制作やソーシャルメディアコンテンツ生成などの分野に適しています。

Open-Sora 2.0の主な機能と特徴

高品質な動画生成：720p高解像度と24FPSのスムーズな動画生成をサポートし、豊かなディテールと自然なシーン切り替えを持つ動画を生成できます。

動作範囲の制御可能：必要に応じて動作の範囲を設定することができ、人物やシーンの繊細な動きをより良く表現できます。

高性能と低コスト：

• Open-Sora 2.0は11Bパラメータ規模を採用しており、HunyuanVideoや30Bパラメータの階躍星程などの主要なクローズドソース大規模モデルに匹敵、あるいはそれ以上の性能を持ち、VBenchと人間の好みテストにおいて優れた成績を収めています。

• 訓練コストを大幅に削減し、わずか20万ドル（224枚のGPU）で訓練を完了できます。従来の高性能動画生成モデルと比較して、コストを5〜10倍削減しました。OpenAI Soraにも匹敵します。

多様な生成方式：

• テキストから動画生成：テキスト記述から対応する動画コンテンツを直接生成することをサポートします。

• 画像から動画生成：オープンソースの画像モデルと連携し、画像に基づいて動画を生成します。

効率的な訓練と最適化：

• 多段階・多層的なデータフィルタリングメカニズムを採用し、高品質なデータ入力を確保し、訓練効率を向上させます。

• 低解像度での訓練を優先し、主要な動的特徴を学習した後、徐々に解像度を向上させることで、計算コストを大幅に削減します。

• 画像から動画生成タスクの訓練を優先し、画像特徴で動画生成を誘導することで、モデルの収束を加速します。

• ColossalAIとシステムレベルの最適化を組み合わせて、計算資源の利用率を向上させます。

• 高圧縮率の動画オートエンコーダーを導入し、推論時間を単一GPUで3分以内に短縮し、推論速度を10倍向上させました。

強力なモデルアーキテクチャ：

• 3Dオートエンコーダー、3Dフルアテンション機構、およびMMDiTアーキテクチャに基づき、訓練効率と推論速度を大幅に向上させます。

• マルチバケット訓練メカニズムを通じて、異なる動画の長さと解像度の同時訓練を実現します。

Open-Sora 2.0の技術的ブレークスルー

• モデルアーキテクチャ：3Dフルアテンション機構とMMDiTアーキテクチャを採用し、時空間特徴モデリング能力を強化。拡散Transformer（DiT）の拡張に基づき、時間アテンション層を導入し、動画シーケンスの動的生成を実現します。

• 効率的な訓練戦略：多段階フィルタリングメカニズムにより高品質な訓練データの入力を確保し、運動特徴の学習を優先した後、画像から動画生成（T2I2V）を通じて画質を向上させ、計算資源を40倍節約します。

• 推論アクセラレーションの革命：高圧縮オートエンコーダー（4×32×32圧縮比）を採用し、768px動画の生成時間を30分から3分に短縮、速度を10倍向上させました。

Open-Sora 2.0の応用シナリオ

• クリエイティブ動画制作：SF短編動画やアニメーション短編などの制作に使用でき、クリエイティブ動画制作やコンテンツ生成のニーズに応えます。

• ソーシャルメディアコンテンツ生成：ソーシャルメディアでの共有に適した高品質な動画コンテンツを生成できます。

• ゲーム動画制作：ゲーム動画制作に利便性を提供します。

GitHubオープンソースリポジトリ：https://github.com/hpcaitech/Open-Sora

技術レポート：https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf