Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten Embodied-Reasoner: Open-Source-Multimodales-Embodied-Modell der Zhejiang-Universität, Alibaba DAMO u. a.
小编 ·
Embodied-Reasoner: Open-Source-Multimodales-Embodied-Modell der Zhejiang-Universität, Alibaba DAMO u. a.
Was ist Embodied-Reasoner?
Embodied-Reasoner ist ein Open-Source-Multimodal-Modell für embodied KI, das gemeinsam vom Institute of Software der Chinesischen Akademie der Wissenschaften, der Zhejiang-Universität und dem Alibaba DAMO Academy entwickelt wurde. Es erweitert tiefe Reasoning-Fähigkeiten auf embodied Interaktionsaufgaben. Es kann komplexe embodied Aufgaben bewältigen, wie etwa das Suchen versteckter Objekte im ai2-THOR-Simulator, das Manipulieren und Transportieren von Gegenständen und mehr.
Kernmerkmale von Embodied-Reasoner
Tiefes Reasoning: Verfügt über vielfältige Reasoning-Fähigkeiten wie Analyse, räumliches Reasoning, Reflexion und Planung.
Multimodale Interaktionsverarbeitung: Kann lange Sequenzen von Bild-Text-Interaktionskontexten verarbeiten.
Fähigkeit zur Umgebungsinteraktion: Kann eigenständig die Umgebung beobachten, Räume erkunden und versteckte Objekte finden.
Open-Source-Modell und Datensatz:
Open-Source-Modelle in zwei Größen werden bereitgestellt: 7B und 2B.
Der Datensatz enthält 9.3k interaktive Beobachtungs-Reasoning-Aktion-Trajektorien mit 64K Bildern und 8M Reasoning-Tokens.
Technische Highlights von Embodied-Reasoner
Aufgaben- und Trajektorien-Engine: Automatische Synthese kohärenter „Beobachtung-Denken-Aktion"-Trajektorien, die 107 vielfältige Indoor-Szenen abdecken, wie Küchen und Wohnzimmer, mit 2.100 interagierbaren Objekten und 2.600 Behältern.
Lange Denkketten und vielfältige Denkmuster: Einschließlich Analyse, räumlichem Reasoning, Reflexion, Planung und Verifikation. Diese kohärenten Bild-Text-verschränkten Trajektorien verbessern die räumlichen und zeitlichen Reasoning-Fähigkeiten.
Iterativer Trainingsprozess: Ein dreistufiger iterativer Trainingsprozess, der Imitation Learning, Self-Exploration-Tuning und Self-Correction-Tuning kombiniert.
Interaktives Evaluierungsframework: Enthält 809 Testfälle, die 12 neuartige Szenen abdecken, und bewertet die Leistung des Modells hinsichtlich Befehlsverständnis, Schlüsselaktionen und Endzustand.
Leistung von Embodied-Reasoner
Erfolgsquote (Success Rate): Misst, ob eine Aufgabe erfolgreich abgeschlossen wurde.
Sucheffizienz (Search Efficiency): Bewertet die Effizienz einer Aufgabe – je mehr Schritte, desto geringer die Effizienz.
Aufgabenvollständigkeit (Task Completeness): Berechnet den Anteil der vorhergesagten Aktionen, die zu den Schlüsselaktionen gehören.
Anwendungsfälle von Embodied-Reasoner
Simulator-Experimente: Embodied-Reasoner zeigt spontanes Denkverhalten, wie das Analysieren des Umgebungszustands, das Reflektieren über übersehene Details, das Reasoning basierend auf den neuesten Beobachtungen sowie das Erinnern an Hinweise für effiziente Planung. Im Gegensatz dazu schneiden allgemeine VLMs ohne Denkfähigkeit bei langfristigen Interaktionsaufgaben schlecht ab und neigen dazu, Aufgaben zu vergessen oder Suchen zu wiederholen.
Experimente in der realen Welt: In realen Umgebungen kann Embodied-Reasoner Störungen herausfiltern und das Zielobjekt letztendlich finden und die Aufgabe abschließen, während das o3-mini-Modell von OpenAI keinen vernünftigen Plan erstellen kann.
Anleitung zur Nutzung von Embodied-Reasoner
Training
1. Abhängigkeiten installieren:
conda create -n llama-factory python=3.11 conda activate llama-factory git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" pip install wandb accelerate deepspeed importlib-metadata
2. Datenvorbereitung: Beachten Sie die Datei data/README.md für Informationen zum Format der Datensatzdateien.
3. Trainingsskript ausführen: Führen Sie das Trainingsskript aus.
Evaluierung
1. Abhängigkeiten installieren:
conda create -n embodied-reasoner python=3.9 conda activate embodied-reasoner pip install -r requirements.txt
2. Evaluierungsskript ausführen: Führen Sie das Evaluierungsskript aus.
Daten-Engine
TaskGenerate.py: Synthetisiert Aufgabenvorlagen und die zugehörigen Schlüsselaktionen.
o1StyleGenerate.py und o1StyleGenerate_ordered.py: Synthetisieren Trajektorien für 10 verschiedene Unteraufgabentypen; letzteres wird verwendet, um komplexere sequenzielle Objekttransferaufgaben zu synthetisieren.
Verwandte Links
GitHub-Projektseite: https://github.com/zwq2018/embodied_reasoner
Hugging Face Datensatz: https://huggingface.co/datasets/embodied_reasoner
Arxiv-Paper: https://arxiv.org/abs/2503.21696
