Microsoft MineWorld: интерактивная модель мира в реальном времени на базе Minecraft, открытый исходный код 243

Что такое MineWorld?

MineWorld — это интерактивная модель мира в реальном времени на основе Minecraft, открытая компанией Microsoft 14 апреля 2025 года. Её цель — создать для интеллектуальных агентов динамическую среду, которая позволяет воспринимать, рассуждать и действовать.

Технические особенности MineWorld

• Визуально-действенный авторегрессионный Transformer: MineWorld использует визуально-действенный авторегрессионный Transformer для управления моделью, преобразуя игровые сцены и действия в дискретные идентификаторы токенов, а затем обучаясь путём предсказания следующего токена.

• Алгоритм параллельного декодирования: разработан новый алгоритм параллельного декодирования, который позволяет одновременно предсказывать пространственно избыточные токены в каждом кадре, обеспечивая генерацию от 4 до 7 кадров в секунду для моделей различного масштаба и взаимодействие с игроком в реальном времени.

• Входные и выходные данные: модель принимает на вход начальное изображение игровой сцены и выбранные пользователем действия и генерирует соответствующую следующую сцену.

• Метрики оценки: предложены новые метрики оценки, которые позволяют оценивать не только визуальное качество, но и способность следовать действиям при генерации новых сцен.

Применение MineWorld

• Исследования в области воплощённого интеллекта: предоставляет сложную и динамичную виртуальную тестовую платформу для исследований в области воплощённого интеллекта.

• Обучение с подкреплением: может использоваться для обучения с подкреплением, помогая агентам учиться и адаптироваться в моделируемой среде.

• Тестирование интерактивных ai агентов: предоставляет среду реального времени, пригодную для взаимодействия, для тестирования интерактивных ИИ-агентов.

Способы использования MineWorld

• Веб-демо: пользователи могут запустить веб-игру с помощью специальной команды и получить к ней доступ по локальному или публичному URL. Пользователи могут выбрать начальный кадр, управлять движением камеры и выполнять игровые действия, такие как прыжки, перемещение и т. д.

• Локальный запуск: пользователи также могут запустить модель локально, чтобы воспроизвести результаты оценки из статьи.

Область применения и ограничения MineWorld

Область применения: MineWorld специально обучена для игровой области Minecraft и подходит только для генерации сцен, связанных с игрой.

Ограничения:

• Не может генерировать результаты в других областях видео (например, интернет-видео).

• Разрешение генерируемого видео ограничено, что может привести к потере деталей.

• Модель может наследовать предубеждения, ошибки или пропуски, присутствующие в обучающих данных.

• Требуется дальнейшее тестирование и проверка, прежде чем рассматривать возможность применения в коммерческих или реальных сценариях.

Установка и использование MineWorld

1. Настройка окружения:

• Клонировать репозиторий:

git clone https://github.com/microsoft/mineworld.git
cd mineworld

• Создать и активировать окружение Conda:

conda create -n mineworld python=3.10
conda activate mineworld
pip3 install -r requirements.txt

• Для инференса рекомендуется использовать высокопроизводительные GPU (например, A100 или H100).

2. Загрузка предобученной модели:

• Загрузите предобученную модель и соответствующие конфигурационные файлы и поместите их в папку checkpoints.

• Структура данных выглядит следующим образом:

├── checkpoints
│   ├── 300M_16f.ckpt
│   ├── 700M_16f.ckpt
│   ├── 700M_32f.ckpt
│   ├── 1200M_16f.ckpt
│   └── 1200M_32f.ckpt
│   └── vae
│       ├── config.json
│       └── vae.ckpt
├── validation
│   └── validation.zip
└── gradio_scene
├── scene.mp4
└── scene.jsonl

3. Запуск веб-демо:

• Используйте следующую команду для запуска веб-демо:

python mineworld.py --scene "path/to/scene.mp4" --model_ckpt "path/to/ckpt" --config "path/to/config"

• Откройте локальный или публичный URL для взаимодействия через веб-страницу.

• Можно выбрать начальный кадр, управлять движением камеры и выполнять игровые действия (например, прыжки, перемещение и т. д.).

4. Локальный инференс:

• Используйте следующую команду для выполнения локального инференса:

python inference.py --data_root "/path/to/validation/dataset" --model_ckpt "path/to/ckpt" --config "path/to/config" --demo_num 1 --frames 15 --accelerate-algo 'naive' --top_p 0.8 --output_dir "path/to/output"

• Вычисление метрик оценки:

bash scripts/setup_metrics.sh
bash scripts/compute_metrics.sh

github:https://github.com/microsoft/MineWorld