대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Embodied-Reasoner: 浙大学·알리바바 DAMO 등이 공동推出的한 오픈소스 멀티모달 구현 모델
小编 ·
Embodied-Reasoner: 浙大学·알리바바 DAMO 등이 공동推出的한 오픈소스 멀티모달 구현 모델
Embodied-Reasoner란 무엇인가?
Embodied-Reasoner는 중국과학원 소프트웨어 연구소, 저장대학교, 알리바바 DAMO 아카데미 등 기관이 공동으로 제안한 오픈소스 멀티모달 휴리스틱지능(embodied) 모델로, 딥 추론 능력을 휴리스틱지능 상호작용 작업으로 확장할 수 있습니다. ai2-THOR 시뮬레이터에서 숨겨진 물체 검색, 물체 조작 및 운반 등 복잡한 휴리스틱지능 작업을 처리할 수 있습니다.
Embodied-Reasoner 핵심 특징
딥 추론 능력: 분석, 공간 추론, 성찰, 계획 등 다양한 추론 능력을 갖추고 있습니다.
멀티모달 상호작용 처리 능력: 긴 시퀀스의 이미지-텍스트 상호작용 컨텍스트를 처리할 수 있습니다.
환경 상호작용 능력: 환경을 자율적으로 관찰하고, 방을 탐색하며 숨겨진 물체를 찾을 수 있습니다.
오픈소스 모델 및 데이터셋:
7B와 2B 두 가지 크기의 오픈소스 모델을 제공합니다.
데이터셋은 64K 이미지와 8M 사고 토큰을 포함하는 9.3k개의 상호작용적 관찰-추론-행동 궤적을 포함합니다.
Embodied-Reasoner 기술 하이라이트
작업 및 궤적 엔진: 주방과 거실 등 107가지 다양한 실내 환경을 포괄하며, 2,100개의 상호작용 객체와 2,600개의 컨테이너를 다루는 일관된 "관찰-사고-행동" 궤적을 자동으로 합성합니다.
긴 사슬 사고와 다양한 사고 모드: 분석, 공간 추론, 성찰, 계획 및 검증 등을 포함하며, 이러한 일관된 이미지-텍스트 교차 궤적은 공간 및 시간 추론 능력을 향상시킵니다.
반복 학습 프로세스: 모방 학습, 자기 탐색 조정 및 자기 수정 조정을 결합한 3단계 반복 학습 프로세스입니다.
대화형 평가 프레임워크: 12가지 새로운 환경을 포괄하는 809개의 테스트 케이스를 포함하며, 명령 이해, 핵심 동작 및 최종 상태에 대한 모델의 성능을 평가합니다.
Embodied-Reasoner 성능
성공률 (Success Rate): 작업이 성공적으로 완료되었는지 여부를 측정합니다.
검색 효율성 (Search Efficiency): 작업 효율성을 평가하며, 단계가 많을수록 효율성이 낮아집니다.
작업 완전성 (Task Completeness): 예측된 동작 중 핵심 동작에 해당하는 비율을 계산합니다.
Embodied-Reasoner 적용 사례
시뮬레이터 실험: Embodied-Reasoner는 환경 상태 분석, 누락된 세부 정보에 대한 성찰, 최신 관찰에 기반한 추론, 효율적인 계획을 위한 단서 회상 등 자발적인 사고 행동을 보여줍니다. 반면, 사고 능력이 없는 범용 VLM은 장기 상호작용 작업에서 성능이 저하되며, 작업을 잊거나 반복적으로 검색하기 쉽습니다.
실제 환경 실험: 실제 환경에서 Embodied-Reasoner는 방해 요소를 제거하고 최종적으로 목표 객체를 찾아 작업을 완료할 수 있는 반면, OpenAI의 o3-mini 모델은 합리적인 계획을 수립할 수 없습니다.
Embodied-Reasoner 사용 가이드
학습
1. 의존성 설치:
conda create -n llama-factory python=3.11 conda activate llama-factory git clone -b embodied-reasoner https://github.com/iGangao/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]" pip install wandb accelerate deepspeed importlib-metadata
2. 데이터 준비:데이터셋 파일 형식은 data/README.md 파일을 참조하세요.
3. 학습 스크립트 실행:학습 스크립트를 실행합니다.
평가
1. 의존성 설치:
conda create -n embodied-reasoner python=3.9 conda activate embodied-reasoner pip install -r requirements.txt
2. 평가 스크립트 실행:평가 스크립트를 실행합니다.
데이터 엔진
TaskGenerate.py：작업 템플릿과 해당 핵심 동작을 합성합니다.
o1StyleGenerate.py와 o1StyleGenerate_ordered.py：각각 10가지 서로 다른 하위 작업 유형에 대한 궤적을 합성하며, 후자는 더 복잡한 순차 객체 전달 작업을 합성하는 데 사용됩니다.
관련 링크
GitHub 프로젝트 홈페이지：https://github.com/zwq2018/embodied_reasoner
Hugging Face 데이터셋：https://huggingface.co/datasets/embodied_reasoner
Arxiv 논문：https://arxiv.org/abs/2503.21696
