Embodied-Reasoner: открытая мультимодальная embodied-модель от Чжэцзянского университета, Alibaba DAMO и других 122

Что такое Embodied-Reasoner?

Embodied-Reasoner — это открытая мультимодальная embodied-модель, совместно предложенная Институтом программного обеспечения Китайской академии наук, Чжэцзянским университетом и DAMO Academy Alibaba. Она расширяет возможности глубокого рассуждения на задачи embodied-взаимодействия. Модель способна справляться со сложными embodied-задачами, такими как поиск скрытых объектов, манипуляция и перемещение предметов в симуляторе ai2-THOR.

Ключевые особенности Embodied-Reasoner

• Способность к глубокому рассуждению: обладает разнообразными возможностями рассуждения, включая анализ, пространственное мышление, рефлексию и планирование.

• Обработка мультимодального взаимодействия: способна работать с длинными последовательностями контекста взаимодействия в формате изображение-текст.

• Способность к взаимодействию со средой: может автономно наблюдать за средой, исследовать комнаты и находить скрытые объекты.

• Открытая модель и набор данных:

• Предоставляются модели с открытым исходным кодом двух размеров: 7B и 2B.

• Набор данных содержит 9.3k интерактивных траекторий «наблюдение-рассуждение-действие», включающих 64K изображений и 8M токенов размышлений.

Технические особенности Embodied-Reasoner

• Движок задач и траекторий: автоматически синтезирует связные траектории «наблюдение-мышление-действие», охватывающие 107 разнообразных indoor-сцен, таких как кухни и гостиные, включающие 2 100 интерактивных объектов и 2 600 контейнеров.

• Длинные цепочки рассуждений и разнообразные режимы мышления: включают анализ, пространственное рассуждение, рефлексию, планирование и проверку; эти связные траектории с чередованием изображений и текста усиливают пространственные и временные способности к рассуждению.

• Итеративный процесс обучения: трёхэтапный итеративный процесс, объединяющий обучение с подкреплением через имитацию, настройку через самостоятельное исследование и настройку через самокоррекцию.

• Интерактивный фреймворк оценки: содержит 809 тестовых случаев, охватывающих 12 новых сцен, для оценки работы модели с точки зрения понимания инструкций, ключевых действий и конечного состояния.

Производительность Embodied-Reasoner

• Success Rate (показатель успеха): измеряет, была ли задача успешно выполнена.

• Search Efficiency (эффективность поиска): оценивает эффективность задачи; чем больше шагов, тем ниже эффективность.

• Task Completeness (полнота выполнения задачи): вычисляет долю действий, входящих в число ключевых, среди предсказанных действий.

Примеры применения Embodied-Reasoner

• Эксперименты в симуляторе: Embodied-Reasoner демонстрирует спонтанное поведение размышления, например анализ состояния среды, рефлексию о пропущенных деталях, рассуждение на основе последних наблюдений и воспоминание подсказок для эффективного планирования. Напротив, универсальные VLM, лишённые способности к размышлению, плохо справляются с долгосрочными интерактивными задачами и склонны забывать задачу или повторять поиск.

• Эксперименты в реальном мире: в реальных условиях Embodied-Reasoner способен отфильтровывать помехи и в итоге находить целевой объект, выполняя задачу, тогда как модель o3-mini от OpenAI не может составить разумный план.

Руководство по использованию Embodied-Reasoner

Обучение

1. Установка зависимостей:

conda create -n llama-factory python=3.11
conda activate llama-factory
git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install wandb accelerate deepspeed importlib-metadata

2. Подготовка данных: обратитесь к файлу data/README.md, чтобы узнать формат файлов набора данных.

3. Запуск скрипта обучения: запустите скрипт обучения.

Оценка

1. Установка зависимостей:

conda create -n embodied-reasoner python=3.9
conda activate embodied-reasoner
pip install -r requirements.txt

2. Запуск скрипта оценки: запустите скрипт оценки.

Движок данных

• TaskGenerate.py: синтезирует шаблоны задач и соответствующие ключевые действия.

• o1StyleGenerate.py и o1StyleGenerate_ordered.py: синтезируют траектории для 10 различных типов подзадач, при этом второй используется для синтеза более сложных задач последовательного перемещения объектов.

Ссылки

Главная страница проекта на GitHub: https://github.com/zwq2018/embodied_reasoner

Набор данных на Hugging Face: https://huggingface.co/datasets/embodied_reasoner

Статья на Arxiv: https://arxiv.org/abs/2503.21696