Matrix-Game：Kunlun Wanweiが正式オープンソース化した17B+のインタラクティブワールド基盤モデル 84

小编 · 2025-05-14

Matrix-Gameは、Kunlun Wanweiが2025年5月13日に正式オープンソース化した17B+のインタラクティブワールド基盤モデルであり、産業初となる10B+の空間知能大規模モデルです。

Matrix-Game：Kunlun Wanweiが正式オープンソース化した17B+のインタラクティブワールド基盤モデル

Matrix-Gameとは？

Matrix-Gameは、昆仑万维（Kunlun Wanwei）が2025年5月13日に正式にオープンソース化した17B+のインタラクティブなワールド基盤モデルであり、産業初となるオープンソースの10B+空間知能大規模モデルです。

screenshot (8).webp

Matrix-Gameの主な特徴

インタラクティブなワールド生成：Matrix-Gameは、ゲームワールドモデリング向けのインタラクティブなワールド基盤モデルです。ユーザーはシンプルなキーボード操作やマウス移動などの操作を通じて、細部まで豊かで物理法則に則った仮想世界を自由に探索、操作、さらには創造することができます。
高精度なコントロール：コントロール性能において、Matrix-Gameは「移動」「攻撃」などの動作を90%以上の精度で実現し、詳細な視点コントロール下でも高精度な応答を維持します。
マルチシナリオへの汎化能力：Matrix-Gameは8つの典型的なMinecraftシナリオすべてで優れた性能を発揮し、卓越した環境適応性と汎化能力を示しており、Minecraft以外のゲーム環境にも汎化する可能性を秘めています。
自己回帰型の長時間ビデオ生成：自己回帰型の長時間ビデオ生成をサポートし、動作と視点の間のシームレスな遷移を実現し、時間的一貫性と環境適応性を保証します。
体系的な評価：統一されたGameWorldScore基準を提案し、ビデオの視覚品質、時間的品質、動作の制御性、物理ルールの理解という4つの次元からモデル性能を包括的に定量評価します。

主要な構成要素

Matrix-Game-MCデータセット：独自に構築された大規模インタラクティブワールドデータセットで、大規模なラベルのないMinecraftゲームビデオおよびキーボードとマウス制御信号付きのMinecraftとUnrealの制御可能ビデオデータを含み、精緻な動作アノテーションを備えています。
Matrix-Gameメインモデル：高度な拡散モデル技術に基づき、画像からワールドへの生成フレームワークを構築し、ユーザーの入力に応じて一貫性があり制御可能なインタラクティブビデオを生成します。
GameWorldScore評価体系：ビデオの視覚品質、時間的品質、動作の制御性、物理ルールの理解という4つの次元からモデル性能を包括的に定量評価し、この分野における体系的評価ベンチマークの空白を埋めます。

Matrix-Gameの技術原理

2段階学習戦略：第1段階では、大規模なラベルのないMinecraftゲームビデオデータを用いて事前学習を行い、モデルに環境の基本的な特徴と動的法則を学習させます。第2段階では、キーボードとマウス制御信号付きのMinecraftとUnrealの制御可能ビデオデータを用いて詳細な制御可能な学習を行い、ユーザーの入力に応じて対応するインタラクティブビデオを生成させます。
画像からワールドへのモデリング：単一の参照画像をインタラクティブビデオ生成の開始点とし、言語プロンプトに依存せず、視覚信号に基づいて空間幾何、物体の動き、およびその物理的相互作用をモデリングします。
自己回帰型ビデオ生成：自己回帰的方式による生成長さの拡張をサポートし、各回に前ビデオセグメントの最後の数フレームを動作コンテキストとして使用し、セグメントごとに段階的に生成することで時間的な一貫性を保証します。学習中にランダム摂動、ランダム削除、Classifier-free guidance戦略を導入し、時間的ドリフトと誤差蓄積を緩和します。
制御可能なインタラクションデザイン：キーボード動作を離散トークンで表現し、視点移動動作を連続トークンで表現し、GameFactoryの制御モジュールに基づき、マルチモーダルDiffusion Transformerアーキテクチャに統合し、Classifier-free guidance戦略を用いて制御信号へのロバストな応答能力を向上させます。

Matrix-Game技术原理.jpg

Matrix-Gameの応用シナリオ

仮想ゲームワールドの迅速な構築：モデルの制御可能な生成能力により、多様で構造的に合理的なゲームマップとインタラクティブ環境を低コストかつ高効率で作成し、レベルデザインとタスク構築の自由度を高めることができます。
映画・メタバースコンテンツ制作：高精細で物理的に一貫した動的シーン合成をサポートし、没入感のある体験開発とクリエイティブコンテンツ生成のための汎用ワールドモデリング基盤を提供します。
エンボディドインテリジェンスエージェントの学習とデータ生成：現在のモデルは直接エンボディドインテリジェンスには使用されていませんが、Matrix-Gameは大規模なインタラクティブビデオを生成する能力を備えており、エンボディドインテリジェンスエージェントの学習と評価への拡張可能性を秘めています。多様で複雑な仮想環境をエージェントに作成し、タスク実行能力と推論能力の向上を支援することができます。