Alibaba、Tongyi Wanxiang Wan2.1動画生成AIモデルを正式にオープンソース化 246

小编 · 2025-02-26

Alibaba、Tongyi Wanxiang Wan2.1動画生成AIモデルを正式にオープンソース化

通义万相Wan2.1视频生成AIモデル.webp

Wan2.1とは？

Wan2.1（通义万相2.1）は、Alibabaが2025年2月25日に正式リリースした新しいオープンソースの動画生成モデルです。このaiモデルはApache 2.0ライセンスでオープンソース化されており、14Bと1.3Bの2つのパラメータ仕様の推論コードと重みを提供し、テキストから動画および画像から動画生成タスクをサポートします。性能が大幅に向上しており、Sora、HunyuanVideo、Minimax、Luma、Gen3、Pikaなど、国内外の先進的な動画生成モデルを複数のベンチマークで上回っています。

Wan2.1の機能：

中国語と英語の動画生成：

Wan2.1は、中国語と英語のテキストを生成できる初の動画モデルであり、強力なテキスト生成能力を備え、映画レベルの文字やアニメーションを生成できます。
特殊効果フォント、ポスターフォント、実写シーンでのフォント表示など、さまざまなシーンでのフォント利用をサポートします。

マルチタスク対応：

テキストから動画（text-to-video）および画像から動画（image-to-video）生成を提供します。
動画編集、動画から音声などのタスクをサポートします。
テキストから画像生成（T2I）：テキストから画像生成をサポートします。
動画から音声生成（V2A）：動画にマッチした音声を自動生成できます。

高品質な性能：

ハイブリッド変分オートエンコーダ（VAE）と拡散Transformer（DiT）アーキテクチャに基づき、時間モデリングとシーン理解能力を強化しています。
HD動画、動的字幕、多言語吹き替えを同時に生成でき、1080p解像度と高効率なエンコード/デコードをサポートします。

コンシューマーハードウェア対応：

1.3BバージョンのWan2.1モデルは8.19GBのVRAMのみで動作し、RTX 4090グラフィックカードにも対応しているため、プロフェッショナルレベルの動画制作がコンシューマーハードウェアの領域に参入しました。

多様なスタイル：

カートゥーン、シネマティックカラー、3Dスタイル、油絵、クラシックなど、さまざまなアートスタイルをサポートします。

長時間動画生成：

特徴キャッシュ機構により、無制限の長さの1080P動画生成をサポートします。

マルチタスク対応.webp

コアアーキテクチャ

ハイブリッド変分オートエンコーダ（VAE）：動画のエンコード/デコードに使用され、任意の長さの1080P動画ストリームをロスレスでエンコード/デコードし、時間情報を保持します。
拡散Transformer（DiT）：動画ベースのDiT構造に基づき、Full Attention機構により長距離の時空間依存関係を効果的にモデル化し、時空間的に一貫した動画生成を実現します。

コアアーキテクチャ.webp

Wan2.1の活用例：

映画制作：SF映画に登場するエイリアンの世界や壮大な戦争シーンなど、複雑なシーンや特殊効果を迅速に作成し、制作コストと時間を大幅に削減します。
広告マーケティング：ブランドの特徴に基づいてクリエイティブな広告動画をカスタマイズし、ブランドの露出と魅力を高めます。
教育・研修：生き生きとした教育動画やアニメーション教材を作成し、学生が知識ポイントをより直感的に理解できるように支援し、教育リソースを充実させます。
ゲーム・エンターテインメント：リアルなゲームシーンやキャラクターアニメーションを生成し、ゲームの映像品質とプレイヤーの没入感を向上させます。
ショート動画とソーシャルメディア：高品質なショート動画を迅速に生成し、ソーシャルメディアでの拡散に適しており、より多くの視聴者を簡単に引き付けることができます。
バーチャルキャラクターとアニメーション制作：複雑なキャラクターの動作やシーン設計をサポートし、映画、広告、ゲームなどのバーチャルキャラクター制作に適しています。