Being-M0: 데이터-모델 협력을 갖춘 휴머노이드 로봇 범용 동작 생성 프레임워크 74

베이징대학교와 런민대학(中国人民大学) 연구팀이 휴머노이드 로봇 동작 생성 분야에서 중요한 진전을 이루었습니다. 그들은 Being-M0라는 범용 동작 생성 프레임워크를 개발하고, 최초의 백만 규모의 동작 생성 데이터셋인 MotionLib을 구축했습니다. 이 데이터셋은 혁신적인 데이터 처리 파이프라인과 상세한 주석(annotation) 방식을 통해 고품질의 동작 데이터를 추출하며, 다양한 데이터 형식을 지원합니다. 연구 결과는 대량의 데이터와 강력한 모델을 활용하면 동작 생성 효과를 효과적으로 향상시킬 수 있음을 보여줍니다. 또한 연구팀은 동작 인코딩을 위한 새로운 방법인 MotionBook을 제안하여 동작 생성 효과를 더욱 최적화했습니다. 나아가 최적화와 학습을 결합한 방법을 통해 사람의 동작을 다양한 휴머노이드 로봇에 효율적으로 적용함으로써, 휴머노이드 로봇 개발에有力的인 지원을 제공했습니다.

데이터셋 MotionLib

• 규모와 주석: MotionLib은 업계 최초의 백만 규모 동작 생성 데이터셋으로, 120만 개 이상의 동작 시퀀스를 포함하며 계층적이고 상세한 텍스트 주석을 갖추고 있습니다. 이 데이터셋은 공개 데이터셋과 온라인 플랫폼으로부터 2000만 개 이상의 인간 동작 영상을 체계적으로 수집하여 구축되었으며, 혁신적인 데이터 처리 파이프라인을 개발했습니다.

• 데이터 최적화: 데이터 품질을 향상시키기 위해, 연구팀은 사전 학습된(pre-trained) 모델을 사용하여 2D 인간 키포인트(keypoint) 추정을 수행하고 신뢰도 임계값으로 필터링한 후,先进的인 모델을 활용하여 고정밀 3D 키포인트 데이터를 생성했습니다. 또한 강화 학습 기반 정책을 학습시켜 원본 동작을 최적화함으로써 물리적 법칙에 더 잘 부합하도록 했습니다.

동작 인코딩 방법 MotionBook

• 2D 룩업 없는(non-lookup) 양자화: 동작 시퀀스를 단일 채널의 2차원 “동작 이미지”로 모델링하는 MotionBook을 제안했습니다. 이는 시간축과 관절축 각각에 독립적인 인코딩 공간을 구축하여 운동의 다차원 구조적 특징을 완전히 보존합니다. 이러한 방법은 동작 인코더의 용량을 크게 확장하고, 대응되는 토큰을 룩업할 필요 없이도 동작 표현의 효율성을 높여줍니다.

모델 Being-M0

• 성능과 규모 효과: MotionLib과 MotionBook에 기반하여, Being-M0은 현저한 규모의 효과(scale effect)를 보여주었으며, 동작 생성 분야에서 “대규모 데이터 + 대규모 모델”의 기술적 실행 가능성을 검증했습니다. 동일한 데이터 조건 하에서 모델 용량과 생성 품질은 현저한 양의 상관관계를 보였으며, 파라미터가 700M인 GPT2 모델과 비교했을 때, 파라미터가 13B인 LLaMA-2 모델은 동작 다양성과 의미 정렬 정확도와 같은 핵심 지표에서 모두 획기적인 향상을 이루었습니다.

• 크로스 플랫폼 동작 전이: 최적화 방법과 학습 방법의 혁신적인 결합을 통해, 동작 데이터를 다양한 휴머노이드 로봇으로 효율적으로 전이하는 것을 실현하여, 크로스 플랫폼 운동 적응 능력을 크게 향상시켰습니다.

프로젝트 링크

프로젝트 주소:https://beingbeyond.github.io/Being-M0/

논문 링크:https://arxiv.org/abs/2410.03311

Github:https://github.com/BeingBeyond/Being-M0