Microsoft MineWorld : modèle de monde interactif en temps réel et open source basé sur Minecraft 246

Qu'est-ce que MineWorld ?

MineWorld est un modèle de monde interactif en temps réel basé sur Minecraft, open source par Microsoft le 14 avril 2025. Son objectif est de construire un environnement dynamique perceptible, raisonné et actionnable pour les agents intelligents.

Caractéristiques techniques de MineWorld

• Transformer autorégressif vision-action : MineWorld utilise un modèle piloté par un Transformer autorégressif vision-action, qui convertit les scènes de jeu et les actions en identifiants de tokens discrets, puis s'entraîne via la prédiction du token suivant.

• Algorithme de décodage parallèle : un nouvel algorithme de décodage parallèle a été développé, capable de prédire simultanément les tokens spatialement redondants dans chaque image, permettant aux modèles de différentes tailles de générer 4 à 7 images par seconde, pour une interaction en temps réel avec les joueurs.

• Entrées et sorties : le modèle prend comme entrées l'image initiale de la scène de jeu et l'action choisie par l'utilisateur, puis génère la scène suivante correspondante.

• Mesures d'évaluation : de nouvelles mesures d'évaluation ont été proposées, permettant non seulement d'évaluer la qualité visuelle, mais aussi la capacité de suivi des actions lors de la génération de nouvelles scènes.

Applications de MineWorld

• Recherche en intelligence incarnée : fournit une plateforme de test virtuel complexe et dynamique pour la recherche en intelligence incarnée.

• Entraînement par apprentissage par renforcement : peut être utilisé pour l'entraînement par apprentissage par renforcement, aidant les agents à apprendre et à s'adapter dans des environnements simulés.

• Test d'agents ai interactifs : fournit un environnement en temps réel et interactif pour tester des agents IA interactifs.

Comment utiliser MineWorld

• Web Demo : les utilisateurs peuvent lancer un jeu web en exécutant une commande spécifique et y accéder via une URL locale ou publique. Les utilisateurs peuvent choisir l'image initiale, contrôler les mouvements de la caméra et exécuter des actions de jeu comme sauter, se déplacer, etc.

• Exécution locale : les utilisateurs peuvent également exécuter le modèle localement pour reproduire les résultats d'évaluation présentés dans l'article.

Portée et limitations de MineWorld

Portée : MineWorld est spécifiquement entraîné pour le domaine du jeu Minecraft et ne s'applique qu'à la génération de scènes liées au jeu.

Limitations :

• Impossible de générer des résultats dans d'autres domaines vidéo (comme les vidéos Internet).

• La résolution vidéo générée est limitée, ce qui peut entraîner une perte de détails.

• Le modèle peut hériter des biais, erreurs ou omissions présents dans les données d'entraînement.

• Des tests et validations supplémentaires sont nécessaires avant d'envisager une application dans des scénarios commerciaux ou réels.

Installation et utilisation de MineWorld

1. Configuration de l'environnement :

• Cloner le dépôt :

git clone https://github.com/microsoft/mineworld.git
cd mineworld

• Créer et activer un environnement Conda :

conda create -n mineworld python=3.10
conda activate mineworld
pip3 install -r requirements.txt

• Il est recommandé d'utiliser un GPU haute performance (tel que A100 ou H100) pour l'inférence.

2. Télécharger les modèles pré-entraînés :

• Téléchargez les modèles pré-entraînés et les fichiers de configuration associés, et placez-les dans le dossier checkpoints.

• La structure des données est la suivante :

├── checkpoints
│   ├── 300M_16f.ckpt
│   ├── 700M_16f.ckpt
│   ├── 700M_32f.ckpt
│   ├── 1200M_16f.ckpt
│   └── 1200M_32f.ckpt
│   └── vae
│       ├── config.json
│       └── vae.ckpt
├── validation
│   └── validation.zip
└── gradio_scene
├── scene.mp4
└── scene.jsonl

3. Lancer la Web Demo :

• Utilisez la commande suivante pour lancer la Web Demo :

python mineworld.py --scene "path/to/scene.mp4" --model_ckpt "path/to/ckpt" --config "path/to/config"

• Accédez à l'URL locale ou publique pour interagir via la page web.

• Vous pouvez choisir l'image initiale, contrôler les mouvements de la caméra et exécuter des actions de jeu (comme sauter, se déplacer, etc.).

4. Inférence locale :

• Utilisez la commande suivante pour effectuer une inférence locale :

python inference.py --data_root "/path/to/validation/dataset" --model_ckpt "path/to/ckpt" --config "path/to/config" --demo_num 1 --frames 15 --accelerate-algo 'naive' --top_p 0.8 --output_dir "path/to/output"

• Calculer les métriques d'évaluation :

bash scripts/setup_metrics.sh
bash scripts/compute_metrics.sh

github :https://github.com/microsoft/MineWorld