Matrix-Game: Kunlun Wanwei가 정식 오픈소스화한 17B+ 인터랙티브 월드 파운데이션 모델 83

小编 · 2025-05-14

Matrix-Game은 Kunlun Wanwei가 2025년 5월 13일에 정식 오픈소스화한 17B+ 인터랙티브 월드 파운데이션 모델로, 업계 최초로 오픈소스화된 10B+ 공간 지능 대형 모델입니다.

Matrix-Game: Kunlun Wanwei가 정식 오픈소스화한 17B+ 인터랙티브 월드 파운데이션 모델

Matrix-Game이란 무엇인가?

Matrix-Game은 쿤룬완원(Kunlun Wanwei)이 2025년 5월 13일에 정식으로 오픈소스로 공개한 17B+ 인터랙티브 월드 파운데이션 모델이며, 산업계 최초의 오픈소스 10B+ 공간 지능 대형 모델입니다.

screenshot (8).webp

Matrix-Game 핵심 특징

인터랙티브 월드 생성: Matrix-Game은 게임 월드 모델링을 위한 인터랙티브 월드 파운데이션 모델로, 사용자는 간단한 키보드 명령, 마우스 이동 등의 조작을 통해 디테일이 풍부하고 물리 법칙이 합리적인 가상 세계를 자유롭게 탐색하고, 조작하며, 창작할 수 있습니다.
고정밀 제어: 제어 성능 측면에서 Matrix-Game은 "이동"과 "공격" 등의 동작에서 최대 90%+ 정확도를 구현하며, 세밀한 시점 제어 하에서도 고정밀 응답을 유지합니다.
다중 시나리오 일반화 능력: Matrix-Game은 8가지 전형적인 Minecraft 시나리오에서 모두 앞선 성능을 보이며, 뛰어난 환경 적응성과 일반화 능력을 보여주고, 비-Minecraft 게임 환경으로 일반화될 잠재력을 가지고 있습니다.
자기회귀식 장편 비디오 생성: 자기회귀 방식의 장편 비디오 생성을 지원하여, 동작과 시점 간의 부드러운衔接를 구현하고, 시간적 일관성과 환경 적응성을 보장합니다.
체계적 평가: 비디오의 시각적 품질, 시계열 품질, 동작 제어성, 물리 법칙 이해라는 네 가지 차원에서 모델 성능을 종합적으로 정량화하는 통합 GameWorldScore 표준을 제시했습니다.

핵심 구성 요소

Matrix-Game-MC 데이터셋: 자체 구축한 대규모 인터랙티브 월드 데이터셋으로, 대규모의 레이블이 없는 Minecraft 게임 비디오와 키보드 및 마우스 제어 신호가 포함된 Minecraft 및 Unreal 제어 가능 비디오 데이터를 포함하며, 세밀한 동작 주석을 갖추고 있습니다.
Matrix-Game 메인 모델: 첨단 확산 모델 기술에 기반하여 이미지에서 월드로의 생성 프레임워크를 구축했으며, 사용자의 입력에 따라连贯하고 제어 가능한 인터랙티브 비디오를 생성할 수 있습니다.
GameWorldScore 평가 체계: 비디오의 시각적 품질, 시계열 품질, 동작 제어성, 물리 법칙 이해라는 네 가지 차원에서 모델 성능을 종합적으로 정량화하며, 해당 분야에서 체계적 평가 기준이 부재했던空白을 채웠습니다.

Matrix-Game 기술 원리

2단계 훈련 전략: 첫 번째 단계에서는 대규모의 레이블이 없는 Minecraft 게임 비디오 데이터를 활용하여 사전 훈련을 진행하고, 모델이 환경의 기본 특징과 동적 규칙을 학습하도록 합니다. 두 번째 단계에서는 키보드와 마우스 제어 신호가 포함된 Minecraft 및 Unreal 제어 가능 비디오 데이터를 사용하여 세밀한 제어 훈련을 수행하며, 모델이 사용자의 입력에 따라 해당하는 인터랙티브 비디오를 생성하도록 합니다.
이미지에서 월드로의 모델링: 단일 참조 이미지를 인터랙티브 비디오 생성의 시작점으로 사용하며, 언어 프롬프트에 의존하지 않고 시각적 신호에 기반하여 공간 기하, 물체의 운동 및 그 물리적 상호작용을 모델링합니다.
자기회귀식 비디오 생성: 자기회귀 방식으로 생성 길이를 확장하는 것을 지원하며, 매번 이전 비디오 조각의 마지막 몇 프레임을 운동 컨텍스트로 사용하여 순차적으로 생성하여 시간적连贯성을 보장합니다. 훈련 과정에 랜덤 교란, 랜덤 삭제 및 Classifier-free guidance 전략을 도입하여 시계열 드리프트와 오차 누적을 완화합니다.
제어 가능한 인터랙션 설계: 키보드 동작은 이산 토큰으로 표현하고, 시점 이동 동작은 연속 토큰으로 표현하며, GameFactory 기반의 제어 모듈과 다중 모달 Diffusion Transformer 아키텍처를 결합하고, Classifier-free guidance 전략으로 제어 신호에 대한 강건한 응답 능력을 향상시킵니다.

Matrix-Game技术原理.jpg

Matrix-Game 적용 시나리오

가상 게임 월드 신속 구축: 모델의 제어 가능한 생성 능력을 통해低成本, 고효율로 다양하고 구조적으로 합리적인 게임 맵과 인터랙션 환경을 창작할 수 있으며, 레벨 디자인과 임무 구성의 자유도를 향상시킵니다.
영화·TV 및 메타버스 콘텐츠 제작: 고충실도, 물리적으로 일관된 동적 장면 합성을 지원하며, 몰입형 경험 개발과 창의적 콘텐츠 생성을 위한 범용 월드 모델링 기반을 제공합니다.
구체화된 지능체 훈련 및 데이터 생성: 현재 모델이 직접적으로 구체화된 지능에 사용되지는 않지만, Matrix-Game은 대규모 인터랙티브 비디오를 생성할 수 있는 능력을 갖추고 있어 구체화된 지능체 훈련과 평가로 확장될 잠재력을 가지고 있으며, 지능체가 다양하고 복잡한 가상 환경을 창작하고, 임무 수행과 추론 능력 향상을 돕는 데 기여할 수 있습니다.

Matrix-Game 모델 장점

세밀한 사용자 인터랙션 제어: 다양한 세부 조작을 지원하며, 사용자 입력에 따라 정확하고 자연스럽게 응답할 수 있습니다.
고충실도 시각 및 물리적 일관성: 생성 결과는 시각적으로连贯되며 물리적 법칙을 따릅니다.
다중 시나리오 일반화 능력: 다양한 Minecraft 게임 시나리오에 대한 일반화 능력을 가지며, 비-Minecraft 게임 환경으로 일반화될 잠재력도 가지고 있습니다.
체계적 평가 체계: GameWorld Score 표준은 모델의 객관적 평가와 지속적 최적화에 강력한 지지를 제공합니다.