Embodied-Reasoner: modelo embodied multimodal de código abierto de la Universidad de Zhejiang, Alibaba DAMO y otros 126

¿Qué es Embodied-Reasoner?

Embodied-Reasoner es un modelo multimodal embodied de código abierto propuesto conjuntamente por el Instituto de Software de la Academia China de Ciencias, la Universidad de Zhejiang y DAMO Academy de Alibaba, entre otras instituciones, que amplía las capacidades de razonamiento profundo a tareas de interacción embodied. Es capaz de manejar tareas embodied complejas, como buscar objetos ocultos, manipular y transportar artículos en el simulador ai2-THOR.

Características principales de Embodied-Reasoner

• Capacidad de razonamiento profundo: posee múltiples habilidades de razonamiento como análisis, razonamiento espacial, reflexión y planificación.

• Capacidad de procesamiento de interacción multimodal: capaz de manejar contextos de interacción imagen-texto de secuencias largas.

• Capacidad de interacción con el entorno: puede observar el entorno de forma autónoma, explorar habitaciones y encontrar objetos ocultos.

• Modelo y conjunto de datos de código abierto:

• Proporciona modelos de código abierto en dos tamaños, 7B y 2B.

• El conjunto de datos contiene 9.3k trayectorias interactivas de observación-razonamiento-acción, que abarcan 64K imágenes y 8M tokens de pensamiento.

Aspectos técnicos destacados de Embodied-Reasoner

• Motor de tareas y trayectorias: sintetiza automáticamente trayectorias coherentes de "observación-pensamiento-acción", cubriendo 107 escenarios interiores diversos, como cocinas y salas de estar, con 2.100 objetos interactivos y 2.600 contenedores.

• Pensamiento de cadena larga y modos de pensamiento diversificados: incluye análisis, razonamiento espacial, reflexión, planificación y verificación, entre otros. Estas trayectorias coherentes entrelazadas de imagen y texto mejoran su capacidad de razonamiento espacial y temporal.

• Flujo de entrenamiento iterativo: un flujo de entrenamiento iterativo de tres etapas que combina aprendizaje por imitación, ajuste por autoexploración y ajuste por autocorrección.

• Marco de evaluación interactivo: incluye 809 casos de prueba que cubren 12 escenarios novedosos, evaluando el desempeño del modelo en comprensión de instrucciones, acciones clave y estado final.

Rendimiento de Embodied-Reasoner

• Tasa de éxito (Success Rate): mide si la tarea se completa con éxito.

• Eficiencia de búsqueda (Search Efficiency): evalúa la eficiencia de la tarea; cuantos más pasos, menor es la eficiencia.

• Completitud de la tarea (Task Completeness): calcula la proporción de acciones clave dentro de las acciones predichas.

Casos de aplicación de Embodied-Reasoner

• Experimentos en simulador: Embodied-Reasoner muestra comportamientos de pensamiento espontáneos, como analizar el estado del entorno, reflexionar sobre detalles omitidos, razonar basándose en las observaciones más recientes y recordar pistas para una planificación eficiente. En comparación, los VLM genéricos que carecen de capacidad de pensamiento se desempeñan mal en tareas de interacción de horizonte largo, tienden a olvidar la tarea o a repetir búsquedas.

• Experimentos en el mundo real: en entornos reales, Embodied-Reasoner es capaz de descartar distracciones y finalmente encontrar el objeto objetivo y completar la tarea, mientras que el modelo o3-mini de OpenAI no logra formular un plan razonable.

Guía de uso de Embodied-Reasoner

Entrenamiento

1. Instalar dependencias:

conda create -n llama-factory python=3.11
conda activate llama-factory
git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install wandb accelerate deepspeed importlib-metadata

2. Preparación de datos: consulta el archivo data/README.md para conocer el formato de los archivos del conjunto de datos.

3. Ejecutar el script de entrenamiento: ejecuta el script de entrenamiento.

Evaluación

1. Instalar dependencias:

conda create -n embodied-reasoner python=3.9
conda activate embodied-reasoner
pip install -r requirements.txt

2. Ejecutar el script de evaluación: ejecuta el script de evaluación.

Motor de datos

• TaskGenerate.py: sintetiza plantillas de tareas y las acciones clave correspondientes.

• o1StyleGenerate.py y o1StyleGenerate_ordered.py: sintetizan trayectorias para 10 tipos diferentes de subtareas, respectivamente; el segundo se utiliza para sintetizar tareas de transferencia de objetos secuenciales más complejas.

Enlaces relacionados

Página del proyecto en GitHub: https://github.com/zwq2018/embodied_reasoner

Conjunto de datos en Hugging Face: https://huggingface.co/datasets/embodied_reasoner

Artículo en Arxiv: https://arxiv.org/abs/2503.21696