Being-M0: универсальная платформа генерации движений гуманоидных роботов с синергией данных и модели 77

小编 · 2025-05-15

Исследовательская группа Университета Пекина и Народного университета Китая добилась значительного прогресса в генерации движений гуманоидных роботов. Они разработали универсальный фреймворк генерации движений Being-M0 и создали MotionLib — первый датасет генерации движений масштаба в миллион примеров. Благодаря инновационному конвейеру обработки данных и подробной разметке он обеспечивает качественные данные движений в нескольких форматах. Результаты показывают, что сочетание больших данных и мощных моделей эффективно улучшает генерацию движений. Команда также предложила новый метод кодирования движений — MotionBook.

Being-M0: универсальная платформа генерации движений гуманоидных роботов с синергией данных и модели

Исследовательские группы из Пекинского университета и Народного университета Китая добились значительного успеха в области генерации движений человекоподобных роботов. Они разработали универсальный фреймворк генерации движений под названием Being-M0 и создали первый в отрасли датасет генерации движений масштабом в миллион примеров — MotionLib. Этот датасет, благодаря инновационному конвейеру обработки данных и подробной разметке, позволяет извлекать высококачественные данные о движениях и поддерживает различные форматы данных. Результаты исследования показывают, что использование больших объёмов данных и мощных моделей может эффективно улучшить качество генерации движений. Команда также предложила новый метод кодирования движений — MotionBook, который дополнительно оптимизирует качество генерации. Кроме того, благодаря сочетанию методов оптимизации и обучения, движения человеческого тела были эффективно перенесены на различные человекоподобные роботы, что обеспечивает мощную поддержку развития человекоподобной робототехники.

Being-M0：универсальный фреймворк генерации движений для человекоподобных роботов с синергией данных и моделей.webp

Датасет MotionLib

Масштаб и разметка: MotionLib — первый в отрасли датасет генерации движений масштабом в миллион примеров, содержащий более 1,2 миллиона последовательностей движений с многоуровневой и подробной текстовой разметкой. Датасет был систематически собран из общедоступных наборов данных и онлайн-платформ и содержит более 20 миллионов видео с движениями человеческого тела; для его обработки был разработан инновационный конвейер обработки данных.
Оптимизация данных: Для повышения качества данных команда использовала предобученные модели для оценки 2D-ключевых точек человеческого тела с фильтрацией по порогу достоверности, а затем применила передовые модели для генерации высокоточных данных о 3D-ключевых точках. Кроме того, были обучены основанные на обучении с подкреплением стратегии для оптимизации исходных движений с целью их лучшего соответствия законам физики.

Метод кодирования движений MotionBook

Двумерное квантование без таблиц поиска: Предложен метод MotionBook, который моделирует последовательности движений как одноканальные двумерные «изображения движений», строя независимые пространства кодирования по временной оси и оси суставов, что полностью сохраняет многомерные структурные характеристики движения. Такой подход значительно расширяет ёмкость кодировщика, не требует поиска соответствующих токенов и повышает эффективность представления движений.

Модель Being-M0

Производительность и эффект масштаба: Основанная на MotionLib и MotionBook, модель Being-M0 демонстрирует выраженный эффект масштаба, подтверждая техническую осуществимость подхода «большие данные + большая модель» в области генерации движений. При одинаковом объёме данных ёмкость модели и качество генерации демонстрируют значительную положительную корреляцию: модель LLaMA-2 с 13 млрд параметров по сравнению с моделью GPT2 с 700 млн параметров показывает прорыв по ключевым показателям, таким как разнообразие движений и точность семантического соответствия.
Кроссплатформенный перенос движений: Инновационное сочетание методов оптимизации и обучения обеспечивает эффективный перенос данных о движениях на различные человекоподобные роботы, что значительно повышает возможности кроссплатформенной адаптации движений.