Embodied-Reasoner : modèle multimodal incarné open source proposé par l'Université du Zhejiang, Alibaba DAMO et d'autres 123

Qu'est-ce qu'Embodied-Reasoner ?

Embodied-Reasoner est un modèle multimodal incarné open source proposé conjointement par l'Institut de logiciels de l'Académie chinoise des sciences, l'Université du Zhejiang et l'Académie DAMO d'Alibaba. Il permet d'étendre les capacités de raisonnement approfondi aux tâches d'interaction incarnée. Il est capable de gérer des tâches incarnées complexes, telles que la recherche d'objets cachés, la manipulation et le transport d'objets dans le simulateur ai2-THOR.

Caractéristiques principales d'Embodied-Reasoner

• Capacité de raisonnement approfondi : possède plusieurs capacités de raisonnement telles que l'analyse, le raisonnement spatial, la réflexion et la planification.

• Capacité de traitement des interactions multimodales : capable de traiter de longs contextes d'interaction image-texte.

• Capacité d'interaction avec l'environnement : peut observer de manière autonome l'environnement, explorer les pièces et trouver des objets cachés.

• Modèles et jeux de données open source :

• Fournit des modèles open source en deux tailles : 7B et 2B.

• Le jeu de données contient 9,3k trajectoires interactives d'observation-raisonnement-action, couvrant 64K images et 8M jetons de réflexion.

Points forts techniques d'Embodied-Reasoner

• Moteur de tâches et de trajectoires : synthétise automatiquement des trajectoires cohérentes d'« observation-réflexion-action », couvrant 107 scènes intérieures diversifiées, telles que des cuisines et des salons, impliquant 2 100 objets interactifs et 2 600 conteneurs.

• Réflexion à longue chaîne et modes de réflexion diversifiés : comprend l'analyse, le raisonnement spatial, la réflexion, la planification et la vérification, etc. Ces trajectoires cohérentes entrelacées d'images et de texte améliorent ses capacités de raisonnement spatial et temporel.

• Processus d'entraînement itératif : un processus d'entraînement itératif en trois étapes combinant l'apprentissage par imitation, l'ajustement par auto-exploration et l'ajustement par auto-correction.

• Cadre d'évaluation interactif : comprend 809 cas de test couvrant 12 nouvelles scènes, évaluant les performances du modèle en termes de compréhension des instructions, d'actions clés et d'état final.

Performances d'Embodied-Reasoner

• Taux de réussite (Success Rate) : mesure si la tâche est accomplie avec succès.

• Efficacité de recherche (Search Efficiency) : évalue l'efficacité de la tâche ; plus le nombre d'étapes est élevé, plus l'efficacité est faible.

• Complétude de la tâche (Task Completeness) : calcule la proportion d'actions prédites qui font partie des actions clés.

Cas d'application d'Embodied-Reasoner

• Expériences en simulateur : Embodied-Reasoner manifeste des comportements de réflexion spontanés, tels que l'analyse de l'état de l'environnement, la réflexion sur les détails omis, le raisonnement basé sur les observations les plus récentes et le rappel d'indices pour une planification efficace. En comparaison, les VLM généralistes dépourvus de capacité de réflexion performent mal dans les tâches d'interaction à long horizon, ayant tendance à oublier la tâche ou à effectuer des recherches répétitives.

• Expériences dans le monde réel : dans des environnements réels, Embodied-Reasoner est capable d'éliminer les distractions, de finir par trouver l'objet cible et d'accomplir la tâche, alors que le modèle o3-mini d'OpenAI ne parvient pas à élaborer un plan raisonnable.

Guide d'utilisation d'Embodied-Reasoner

Entraînement

1. Installer les dépendances :

conda create -n llama-factory python=3.11
conda activate llama-factory
git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install wandb accelerate deepspeed importlib-metadata

2. Préparation des données : consultez le fichier data/README.md pour connaître le format des fichiers du jeu de données.

3. Exécuter le script d'entraînement : exécutez le script d'entraînement.

Évaluation

1. Installer les dépendances :

conda create -n embodied-reasoner python=3.9
conda activate embodied-reasoner
pip install -r requirements.txt

2. Exécuter le script d'évaluation : exécutez le script d'évaluation.

Moteur de données

• TaskGenerate.py : synthétise des modèles de tâches et les actions clés correspondantes.

• o1StyleGenerate.py et o1StyleGenerate_ordered.py : synthétisent respectivement des trajectoires pour 10 types de sous-tâches différents, le second étant utilisé pour synthétiser des tâches plus complexes de transfert séquentiel d'objets.

Liens connexes

Page du projet GitHub : https://github.com/zwq2018/embodied_reasoner

Jeu de données Hugging Face : https://huggingface.co/datasets/embodied_reasoner

Article Arxiv : https://arxiv.org/abs/2503.21696