대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Microsoft MineWorld: 마인크래프트 기반 실시간 오픈소스 인터랙티브 월드 모델
小编 ·
Microsoft MineWorld: 마인크래프트 기반 실시간 오픈소스 인터랙티브 월드 모델
MineWorld란 무엇인가요?
MineWorld는 마이크로소프트가 2025년 4월 14일에 오픈소스로 공개한, 《마인크래프트》(Minecraft) 기반의 실시간 인터랙티브 월드 모델로, 지능형 에이전트가 인지·추론·행동할 수 있는 동적인 환경을 구축하는 것을 목표로 합니다.
MineWorld 기술 특징
비전-액션 자기회귀 Transformer: MineWorld는 비전-액션 자기회귀 Transformer 기반 모델을 활용하여, 게임 장면과 동작을 이산적인 token ID로 변환한 뒤 다음 token 예측을 통해 학습합니다.
병렬 디코딩 알고리즘: 각 프레임에서 공간적으로 중복되는 token을 동시에 예측할 수 있는 새로운 병렬 디코딩 알고리즘을 개발하여, 다양한 규모의 모델이 초당 4~7프레임을 생성함으로써 게임 플레이어와 실시간으로 상호작용할 수 있도록 합니다.
입력과 출력: 모델은 게임 장면의 초기 이미지와 사용자가 선택한 동작을 입력으로 받아, 그에 해당하는 다음 장면을 생성합니다.
평가 지표: 시각적 품질뿐만 아니라 새로운 장면을 생성할 때의 동작 준수 능력도 평가할 수 있는 새로운 평가 지표를 제시했습니다.
MineWorld 활용 분야
구현체 지능 연구: 구현체(embodied) 지능 연구를 위한 복잡하고 동적인 가상 테스트 플랫폼을 제공합니다.
강화학습 훈련: 강화학습 훈련에 활용되어, 지능형 에이전트가 시뮬레이션 환경에서 학습하고 적응하는 데 도움이 됩니다.
인터랙티브 ai 에이전트 테스트: 인터랙티브 AI 에이전트 테스트를 위한 실시간이고 상호작용 가능한 환경을 제공합니다.
MineWorld 사용 방법
웹 데모: 사용자는 특정 명령을 실행하여 웹 게임을 구동하고, 로컬 또는 공개 URL을 통해 접속할 수 있습니다. 초기 프레임을 선택하고, 카메라 이동을 제어하며, 점프·이동과 같은 게임 동작을 수행할 수 있습니다.
로컬 실행: 모델을 로컬에서 실행하여 논문의 평가 결과를 재현할 수도 있습니다.
MineWorld 적용 범위 및 한계
적용 범위: MineWorld는 《마인크래프트》 게임 영역에 특화되어 학습되었으며, 게임과 관련된 장면 생성에만 적용됩니다.
한계:
다른 동영상 분야(예: 인터넷 동영상)의 결과는 생성할 수 없습니다.
생성되는 동영상의 해상도가 제한적이어서 세부 정보가 손실될 수 있습니다.
모델은 학습 데이터의 편향, 오류 또는 누락을 그대로 계승할 수 있습니다.
상업적 또는 현실 환경에서의 적용을 고려하려면 추가적인 테스트와 검증이 필요합니다.
MineWorld 설치 및 사용
1. 환경 설정:
저장소 복제:
git clone https://github.com/microsoft/mineworld.git cd mineworld
Conda 환경을 생성하고 활성화:
conda create -n mineworld python=3.10 conda activate mineworld pip3 install -r requirements.txt
고성능 GPU(예: A100 또는 H100)를 사용해 추론하는 것을 권장합니다.
2. 사전 학습 모델 다운로드:
사전 학습 모델과 관련 설정 파일을 다운로드하여 checkpoints 폴더에 배치합니다.
디렉터리 구조는 다음과 같습니다:
├── checkpoints │ ├── 300M_16f.ckpt │ ├── 700M_16f.ckpt │ ├── 700M_32f.ckpt │ ├── 1200M_16f.ckpt │ └── 1200M_32f.ckpt │ └── vae │ ├── config.json │ └── vae.ckpt ├── validation │ └── validation.zip └── gradio_scene ├── scene.mp4 └── scene.jsonl
3. 웹 데모 실행:
다음 명령을 사용하여 웹 데모를 시작합니다:
python mineworld.py --scene "path/to/scene.mp4" --model_ckpt "path/to/ckpt" --config "path/to/config"
로컬 또는 공개 URL에 접속하여 웹 페이지를 통해 상호작용합니다.
초기 프레임을 선택하고, 카메라 이동을 제어하며, 게임 동작(예: 점프, 이동 등)을 수행할 수 있습니다.
4. 로컬 추론:
다음 명령을 사용하여 로컬에서 추론을 수행합니다:
python inference.py --data_root "/path/to/validation/dataset" --model_ckpt "path/to/ckpt" --config "path/to/config" --demo_num 1 --frames 15 --accelerate-algo 'naive' --top_p 0.8 --output_dir "path/to/output"
평가 지표 계산:
bash scripts/setup_metrics.sh bash scripts/compute_metrics.sh
github：https://github.com/microsoft/MineWorld
