Microsoft MineWorld: modelo de mundo interactivo en tiempo real y de código abierto basado en Minecraft 238

¿Qué es MineWorld?

MineWorld es un modelo de mundo interactivo en tiempo real basado en Minecraft, de código abierto por Microsoft el 14 de abril de 2025, cuyo objetivo es construir entornos dinámicos perceptibles, razonables y accionables para agentes inteligentes.

Características técnicas de MineWorld

• Transformer autorregresivo de visión-acción: MineWorld utiliza un Transformer autorregresivo de visión-acción como modelo de impulso, convirtiendo las escenas del juego y las acciones en identificadores de tokens discretos, y luego se entrena mediante la predicción del siguiente token.

• Algoritmo de decodificación paralela: se ha desarrollado un nuevo algoritmo de decodificación paralela que puede predecir simultáneamente los tokens con redundancia espacial en cada fotograma, permitiendo que modelos de distintos tamaños generen entre 4 y 7 fotogramas por segundo, logrando una interacción en tiempo real con los jugadores.

• Entrada y salida: el modelo toma como entrada la imagen inicial de la escena del juego y la acción elegida por el usuario, y genera la siguiente escena correspondiente.

• Métricas de evaluación: se han propuesto nuevas métricas de evaluación que no solo valoran la calidad visual, sino también la capacidad de seguimiento de acciones al generar nuevas escenas.

Aplicaciones de MineWorld

• Investigación en inteligencia encarnada: proporciona una plataforma de pruebas virtual compleja y dinámica para la investigación en inteligencia encarnada.

• Entrenamiento por aprendizaje por refuerzo: puede utilizarse para el entrenamiento por aprendizaje por refuerzo, ayudando a los agentes inteligentes a aprender y adaptarse en entornos simulados.

• Pruebas de agentes ai interactivos: ofrece un entorno interactivo en tiempo real para probar agentes de IA interactivos.

Cómo usar MineWorld

• Demo web: los usuarios pueden iniciar el juego web ejecutando un comando específico y acceder a él mediante una URL local o pública. Los usuarios pueden elegir el fotograma inicial, controlar el movimiento de la cámara y ejecutar acciones del juego, como saltar, moverse, etc.

• Ejecución local: los usuarios también pueden ejecutar el modelo localmente para reproducir los resultados de evaluación del artículo.

Alcance y limitaciones de MineWorld

Alcance: MineWorld está entrenado específicamente para el ámbito del juego Minecraft y solo es aplicable a la generación de escenas relacionadas con el juego.

Limitaciones:

• No puede generar resultados en otros ámbitos de vídeo (como vídeos de Internet).

• La resolución de vídeo generada es limitada, lo que puede provocar la pérdida de información detallada.

• El modelo puede heredar sesgos, errores u omisiones presentes en los datos de entrenamiento.

• Se requieren más pruebas y validaciones antes de considerar su aplicación en escenarios comerciales o del mundo real.

Instalación y uso de MineWorld

1. Configuración del entorno:

• Clonar el repositorio:

git clone https://github.com/microsoft/mineworld.git
cd mineworld

• Crear y activar el entorno Conda:

conda create -n mineworld python=3.10
conda activate mineworld
pip3 install -r requirements.txt

• Se recomienda utilizar una GPU de alto rendimiento (como A100 o H100) para la inferencia.

2. Descargar el modelo preentrenado:

• Descargue el modelo preentrenado y los archivos de configuración relacionados, y colóquelos en la carpeta checkpoints.

• La estructura de datos es la siguiente:

├── checkpoints
│   ├── 300M_16f.ckpt
│   ├── 700M_16f.ckpt
│   ├── 700M_32f.ckpt
│   ├── 1200M_16f.ckpt
│   └── 1200M_32f.ckpt
│   └── vae
│       ├── config.json
│       └── vae.ckpt
├── validation
│   └── validation.zip
└── gradio_scene
├── scene.mp4
└── scene.jsonl

3. Ejecutar la Demo Web:

• Utilice el siguiente comando para iniciar la Demo Web:

python mineworld.py --scene "path/to/scene.mp4" --model_ckpt "path/to/ckpt" --config "path/to/config"

• Acceda a una URL local o pública e interactúe a través de la página web.

• Puede elegir el fotograma inicial, controlar el movimiento de la cámara y ejecutar acciones del juego (como saltar, moverse, etc.).

4. Inferencia local:

• Utilice el siguiente comando para realizar inferencia local:

python inference.py --data_root "/path/to/validation/dataset" --model_ckpt "path/to/ckpt" --config "path/to/config" --demo_num 1 --frames 15 --accelerate-algo 'naive' --top_p 0.8 --output_dir "path/to/output"

• Calcular las métricas de evaluación:

bash scripts/setup_metrics.sh
bash scripts/compute_metrics.sh

github: https://github.com/microsoft/MineWorld