Microsoft MineWorld: Open-Source-Echtzeit-Weltmodell auf Basis von Minecraft 237

Was ist MineWorld?

MineWorld ist ein von Microsoft am 14. April 2025 als Open Source veröffentlichtes Echtzeit-Interaktions-Weltmodell, das auf Minecraft basiert. Ziel ist es, eine wahrnehmbare, schlussfolgernde und handlungsfähige dynamische Umgebung für Agenten zu schaffen.

Technische Merkmale von MineWorld

• Visual-Action Autoregressive Transformer: MineWorld nutzt einen Visual-Action Autoregressive Transformer, der Spielszenen und Aktionen in diskrete Token-IDs umwandelt und anschließend durch die Vorhersage des nächsten Tokens trainiert wird.

• Parallel-Decodierungs-Algorithmus: Es wurde ein neuartiger Parallel-Decodierungs-Algorithmus entwickelt, der gleichzeitig die räumlich redundanten Token in jedem Frame vorhersagen kann. Damit generieren Modelle unterschiedlicher Größe 4 bis 7 Bilder pro Sekunde und ermöglichen so eine Echtzeit-Interaktion mit Spielern.

• Eingabe und Ausgabe: Das Modell nimmt das Anfangsbild einer Spielszene sowie vom Benutzer gewählte Aktionen als Eingabe und erzeugt die entsprechende nächste Szene.

• Bewertungsmetriken: Es wurden neue Bewertungsmetriken vorgeschlagen, die nicht nur die visuelle Qualität, sondern auch die Fähigkeit zur Aktionsfolge bei der Erzeugung neuer Szenen bewerten.

Anwendungen von MineWorld

• Embodied-AI-Forschung: Bietet eine komplexe und dynamische virtuelle Testplattform für die Forschung im Bereich Embodied AI.

• Reinforcement-Learning-Training: Kann für das Training im Reinforcement Learning verwendet werden, um Agenten beim Lernen und Anpassen in simulierten Umgebungen zu unterstützen.

• Test interaktiver ai-Agenten: Bietet eine Echtzeit- und interaktive Umgebung zum Testen interaktiver KI-Agenten.

Nutzung von MineWorld

• Web-Demo: Benutzer können über einen bestimmten Befehl ein Webspiel starten und über eine lokale oder öffentliche URL darauf zugreifen. Sie können den Anfangsframe auswählen, die Kamerabewegung steuern und Spielaktionen wie Springen, Bewegen usw. ausführen.

• Lokaler Betrieb: Benutzer können das Modell auch lokal ausführen, um die in der Veröffentlichung vorgestellten Evaluierungsergebnisse zu reproduzieren.

Anwendungsbereich und Einschränkungen von MineWorld

Anwendungsbereich: MineWorld wurde speziell für den Minecraft-Spielbereich trainiert und ist nur für die Erzeugung spielbezogener Szenen geeignet.

Einschränkungen:

• Es können keine Ergebnisse aus anderen Video-Bereichen erzeugt werden (z. B. Internetvideos).

• Die Auflösung der erzeugten Videos ist begrenzt, was zu einem Verlust von Detailinformationen führen kann.

• Das Modell kann Verzerrungen, Fehler oder Auslassungen aus den Trainingsdaten übernehmen.

• Es sind weitere Tests und Validierungen erforderlich, bevor ein Einsatz in kommerziellen oder realen Szenarien in Betracht gezogen werden kann.

Installation und Nutzung von MineWorld

1. Umgebungskonfiguration:

• Repository klonen:

git clone https://github.com/microsoft/mineworld.git
cd mineworld

• Conda-Umgebung erstellen und aktivieren:

conda create -n mineworld python=3.10
conda activate mineworld
pip3 install -r requirements.txt

• Für die Inferenz wird empfohlen, eine Hochleistungs-GPU (z. B. A100 oder H100) zu verwenden.

2. Vorgespielte Modelle herunterladen:

• Laden Sie die vorgespielten Modelle und zugehörigen Konfigurationsdateien herunter und legen Sie sie im Checkpoints-Ordner ab.

• Die Datenstruktur sieht wie folgt aus:

├── checkpoints
│   ├── 300M_16f.ckpt
│   ├── 700M_16f.ckpt
│   ├── 700M_32f.ckpt
│   ├── 1200M_16f.ckpt
│   └── 1200M_32f.ckpt
│   └── vae
│       ├── config.json
│       └── vae.ckpt
├── validation
│   └── validation.zip
└── gradio_scene
├── scene.mp4
└── scene.jsonl

3. Web-Demo starten:

• Starten Sie die Web-Demo mit dem folgenden Befehl:

python mineworld.py --scene "path/to/scene.mp4" --model_ckpt "path/to/ckpt" --config "path/to/config"

• Greifen Sie über eine lokale oder öffentliche URL auf die Weboberfläche zu, um zu interagieren.

• Sie können den Anfangsframe auswählen, die Kamerabewegung steuern und Spielaktionen (wie Springen, Bewegen usw.) ausführen.

4. Lokale Inferenz:

• Führen Sie die lokale Inferenz mit dem folgenden Befehl aus:

python inference.py --data_root "/path/to/validation/dataset" --model_ckpt "path/to/ckpt" --config "path/to/config" --demo_num 1 --frames 15 --accelerate-algo 'naive' --top_p 0.8 --output_dir "path/to/output"

• Bewertungsmetriken berechnen:

bash scripts/setup_metrics.sh
bash scripts/compute_metrics.sh

github: https://github.com/microsoft/MineWorld