Matrix-Game: Kunlun Wanwei открыла исходный код интерактивной мировой базовой модели 17B+ 82

小编 · 2025-05-14

Matrix-Game — интерактивная мировая базовая модель с 17B+ параметров, официально переведённая Kunlun Wanwei в открытый исходный код 13 мая 2025 года; первая в индустрии open-source модель пространственного интеллекта с 10B+ параметров.

Matrix-Game: Kunlun Wanwei открыла исходный код интерактивной мировой базовой модели 17B+

Что такое Matrix-Game?

Matrix-Game — это интерактивная базовая модель мира с 17B+ параметров, официально опубликованная в открытом доступе компанией Kunlun Wanwei 13 мая 2025 года, а также первая в индустрии модель пространственного интеллекта с открытым исходным кодом и 10B+ параметров.

screenshot (8).webp

Основные особенности Matrix-Game

Интерактивная генерация мира: Matrix-Game — это интерактивная базовая модель мира, ориентированная на моделирование игровых миров. Пользователи могут с помощью простых команд клавиатуры, движений мыши и других действий свободно исследовать, управлять и даже создавать виртуальные миры с богатыми деталями и реалистичными физическими правилами.
Высокоточное управление: с точки зрения производительности управления Matrix-Game обеспечивает точность более 90% для таких действий, как «движение» и «атака», сохраняя высокую точность отклика даже при тонком управлении ракурсом обзора.
Способность к обобщению на несколько сценариев: Matrix-Game превосходит конкурентов во всех 8 типичных сценариях Minecraft, демонстрируя выдающуюся адаптируемость к среде и способность к обобщению, с потенциалом переноса на игровые среды, отличные от Minecraft.
Авторегрессионная генерация длинных видео: поддерживает авторегрессионную генерацию длинных видеороликов, обеспечивая плавное сопряжение между действиями и ракурсами обзора, гарантируя временну́ю согласованность и адаптивность к среде.
Систематическая оценка: предложен единый стандарт GameWorldScore, который всесторонне количественно оценивает производительность модели по четырём измерениям: качество видеоизображения, временно́е качество, управляемость действиями и понимание физических правил.

Основные составные части

Набор данных Matrix-Game-MC: самостоятельно созданный крупномасштабный набор данных интерактивного мира, содержащий массивные немаркированные игровые видеоролики Minecraft, а также данные управляемого видео Minecraft и Unreal с сигналами управления клавиатуры и мыши, с детальными аннотациями действий.
Основная модель Matrix-Game: построенная на основе передовой технологии диффузионных моделей, она формирует генеративную среду «от изображения к миру», способную создавать связные и управляемые интерактивные видеоролики на основе пользовательского ввода.
Система оценки GameWorldScore: всесторонне количественно оценивает производительность модели по четырём измерениям — качество видеоизображения, временно́е качество, управляемость действиями и понимание физических правил, заполняя пробелы в отсутствии систематических оценочных基准 в данной области.

Технические принципы Matrix-Game

Двухэтапная стратегия обучения: на первом этапе проводится предварительное обучение на массивных немаркированных игровых видеоданных Minecraft, позволяющее модели изучить основные характеристики среды и динамические закономерности; на втором этапе выполняется тонкое контролируемое обучение на данных управляемого видео Minecraft и Unreal с сигналами управления клавиатуры и мыши, чтобы модель могла генерировать соответствующие интерактивные видеоролики в соответствии с пользовательским вводом.
Моделирование «от изображения к миру»: в качестве отправной точки для генерации интерактивного видеоролика используется одно эталонное изображение, без зависимости от текстовых подсказок, моделирование пространственной геометрии, движения объектов и их физического взаимодействия основано на визуальных сигналах.
Авторегрессионная генерация видео: поддерживается авторегрессионное расширение длины генерации — в качестве контекста движения каждый раз используются последние несколько кадров предыдущего видеофрагмента, с последовательной покадровой генерацией, обеспечивающей временну́ю согласованность. В процессе обучения применяются случайные возмущения, случайное удаление и стратегия Classifier-free guidance для смягчения временно́го дрейфа и накопления ошибок.
Дизайн управляемого взаимодействия: действия клавиатуры выражаются дискретными токенами, движения ракурса обзора — непрерывными токенами, основанными на модуле управления GameFactory, интегрированном в мультимодальную архитектуру Diffusion Transformer, а стратегия Classifier-free guidance повышает способность к надёжному реагированию на управляющие сигналы.

Matrix-Game技术原理.jpg

Сценарии применения Matrix-Game

Быстрое создание виртуальных игровых миров: благодаря возможностям управляемой генерации модели можно с низкими затратами и высокой эффективностью создавать разнообразные, структурно обоснованные игровые карты и интерактивные среды, повышая свободу проектирования уровней и построения задач.
Производство контента для кино, телевидения и метавселенных: поддерживает высокоточный, физически согласованный синтез динамических сцен, обеспечивая универсальную основу моделирования мира для разработки иммерсивных体验 и генерации творческого контента.
Обучение embodied-интеллектных агентов и генерация данных: хотя текущая модель напрямую не используется для embodied-интеллекта, Matrix-Game обладает способностью генерировать масштабные интерактивные видеоролики и потенциалом для расширения на обучение и оценку embodied-агентов, позволяя создавать для агентов разнообразные и сложные виртуальные среды, способствуя повышению их способностей к выполнению задач и логическому рассуждению.

Преимущества модели Matrix-Game

Тонкое управление взаимодействием с пользователем: поддерживает множество детальных операций и способна точно и естественно реагировать на пользовательский ввод.
Высокая визуальная и физическая согласованность: результаты генерации визуально связны и соответствуют физическим законам.
Способность к обобщению на несколько сценариев: способность обобщения на множество игровых сценариев Minecraft, а также потенциал переноса на игровые среды, отличные от Minecraft.
Систематическая система оценки: стандарт GameWorld Score обеспечивает надёжную поддержку объективной оценки и непрерывной оптимизации модели.