脚本プランナー▸ 
AIアプリ 
AIニュース Embodied-Reasoner：浙江大学とAlibaba DAMO等が共同推出的した、オープンソースのマルチモーダル身体性モデル
小编 ·
Embodied-Reasoner：浙江大学とAlibaba DAMO等が共同推出的した、オープンソースのマルチモーダル身体性モデル
Embodied-Reasonerとは？
Embodied-Reasonerは、中国科学院ソフトウェア研究所、浙江大学、およびアリババ達摩院などの機関によって共同で提案されたオープンソースのマルチモーダル具身モデルであり、深い推論能力を具身インタラクションタスクに拡張することができます。AI2-THOR シミュレーター内で隠された物体を探索したり、物体を操作・輸送したりするなどの複雑な具身タスクを処理することができます。
Embodied-Reasonerの中核的な特徴
深い推論能力：分析、空間推論、反省、計画立案など、複数の推論能力を備えています。
マルチモーダルインタラクション処理能力：長いシーケンスの画像-テキストインタラクションコンテキストを処理することができます。
環境インタラクション能力：自律的に環境を観察し、部屋を探索して隠された物体を見つけることができます。
オープンソースモデルとデータセット：
7B と 2B の 2 つのサイズのオープンソースモデルを提供しています。
データセットには 64K の画像と 8M の思考トークンを含む、9.3k のインタラクティブな観察-推論-行動の軌跡が含まれています。
Embodied-Reasonerの技術的なハイライト
タスクと軌跡エンジン：107 種類の多様な屋内シーン（キッチンやリビングルームなど）をカバーし、2,100 個のインタラクション対象と 2,600 個のコンテナを含む、一貫性のある「観察-思考-行動」の軌跡を自動的に合成します。
長鎖思考と多様な思考モード：分析、空間推論、反省、計画立案、検証などが含まれ、これらの一貫性のある画像-テキストが交互に配置された軌跡により、空間的および時間的な推論能力が強化されます。
反復的な学習フロー：模倣学習、自己探索による調整、および自己修正による調整を組み合わせた 3 段階の反復的な学習フロー。
インタラクティブな評価フレームワーク：12 種類の新規なシーンをカバーする 809 個のテストケースを含み、指示理解、重要な行動、最終状態におけるモデルの性能を評価します。
Embodied-Reasonerの性能
成功率（Success Rate）：タスクが正常に完了したかどうかを測定します。
検索効率（Search Efficiency）：タスクの効率を評価し、ステップ数が多いほど効率は低くなります。
タスクの完全性（Task Completeness）：予測された行動のうち、重要な行動に属する割合を計算します。
Embodied-Reasonerの応用事例
シミュレーター実験：Embodied-Reasonerは、環境状態の分析、見落とした细节の反省、最新の観察に基づく推論、および効率的な計画立案のための手がかりの想起など、自発的な思考行動を示します。対照的に、思考能力を欠く汎用 VLM は、長時間のインタラクションタスクでは性能が低く、タスクを忘れたり、同じ検索を繰り返したりしやすいです。
実世界での実験：実環境において、Embodied-Reasonerは干渉を排除して最終的に目標物体を見つけ、タスクを完了することができますが、OpenAI の o3-mini モデルは合理的な計画を立てることができません。
Embodied-Reasoner使用ガイド
学習
1. 依存関係のインストール：
conda create -n llama-factory python=3.11 conda activate llama-factory git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" pip install wandb accelerate deepspeed importlib-metadata
2. データの準備：データセットファイルの形式については data/README.md ファイルを参照してください。
3. 学習スクリプトの実行：学習スクリプトを実行します。
評価
1. 依存関係のインストール：
conda create -n embodied-reasoner python=3.9 conda activate embodied-reasoner pip install -r requirements.txt
2. 評価スクリプトの実行：評価スクリプトを実行します。
データエンジン
TaskGenerate.py：タスクテンプレートと対応する重要な行動を合成します。
o1StyleGenerate.pyと o1StyleGenerate_ordered.py：それぞれ 10 種類の異なるサブタスクタイプの軌跡を合成します。後者は、より複雑な順序的な物体移動タスクを合成するために使用されます。
関連リンク
GitHub プロジェクトのホームページ：https://github.com/zwq2018/embodied_reasoner
Hugging Face データセット：https://huggingface.co/datasets/embodied_reasoner
Arxiv 論文：https://arxiv.org/abs/2503.21696
