SkyReels-A2：任意の視覚要素を合成動画に組み立てる生成モデル 139

SkyReels-A2とは？

SkyReels-A2 は、Skywork ai と崑崙万維が共同で開発した、制御可能な動画生成フレームワークです。テキストプロンプトに基づいて、任意 visual要素（人物、物体、背景など）を合成動画に組み立てることができ、流れは自然で、各要素の一貫性も良好に保たれます。

SkyReels-A2の主な特徴

• 複数要素の動画生成：複数の参照画像とテキストプロンプトから、高品質で自然な動画を生成できます。

• 厳密な一貫性の維持：生成された動画内の各要素（人物、物体、背景など）が参照画像と厳密に一致することを保証します。

• 制御可能な生成：テキストプロンプトと参照画像を通じて、ユーザーは生成される動画の内容を正確に制御できます。

• 高効率な推論：推論プロセスを最適化し、生成速度と出力の安定性を向上させています。

SkyReels-A2の技術的な詳細

• 画像-テキスト統合埋め込みモデル：新しい画像-テキスト統合埋め込みモデルを設計し、複数要素の表現を生成プロセスに注入することで、要素特有の一貫性とグローバルな一貫性、テキスト整合性のバランスを取ります。

• データパイプラインの設計：モデル学習用のテキスト-参照-動画の triplet を生成するための包括的なデータパイプラインを構築しました。

• 最適化された推論プロセス：Context Parallel、CFG Parallel、VAE Parallel など、さまざまな高速化戦略により推論フローを最適化し、生成速度を向上させています。

• 公開ベンチマーク：要素から動画への（E2V）タスクを体系的に評価するために、厳選されたベンチマーク A2-Bench を導入しました。

SkyReels-A2の応用シーン

SkyReels-A2 は、クリエイティブ応用分野で幅広い応用の可能性を秘めています。例えば、AI 短編ドラマ制作、バーチャル EC などが挙げられます。

• AI短編ドラマ制作：制作者は、パーソナライズされた短編ドラマを迅速に生成できます。

• 広告宣伝：企業は低コストで高品質な広告短編ドラマを作成できます。

• バーチャル EC：生き生きとした商品紹介動画を生成できます。

• ゲーム開発：ゲームのストーリーアニメーションやキャラクター紹介動画を迅速に生成できます。

githubプロジェクト：https://github.com/SkyworkAI/SkyReels-A2

huggingface：https://huggingface.co/Skywork/SkyReels-A2