Being-M0 : un cadre universel de génération de mouvements pour robots humanoïdes alliant données et modèle 78

Les équipes de recherche de l'Université de Pékin et de l'Université Renmin de Chine ont réalisé des progrès importants dans la génération de mouvements pour robots humanoïdes. Ils ont développé un cadre de génération de mouvements généraliste appelé Being-M0 et créé le premier jeu de données de génération de mouvements à l'échelle du million, appelé MotionLib. Ce jeu de données, grâce à un pipeline de traitement des données innovant et à des méthodes d'annotation détaillées, extrait des données de mouvement de haute qualité et prend en charge plusieurs formats de données. Les résultats de la recherche montrent que l'utilisation de grandes quantités de données et de modèles puissants peut efficacement améliorer les effets de génération de mouvements. L'équipe a également proposé une nouvelle méthode d'encodage de mouvements appelée MotionBook, optimisant davantage les effets de génération de mouvements. De plus, en combinant des méthodes d'optimisation et d'apprentissage, ils ont appliqué efficacement les mouvements humains à divers robots humanoïdes, fournissant un soutien solide au développement des robots humanoïdes.

Jeu de données MotionLib

• Échelle et annotation : MotionLib est le premier jeu de données de génération de mouvements à l'échelle du million dans le secteur, contenant plus de 1,2 million de séquences de mouvements, accompagnées d'annotations textuelles hiérarchisées et détaillées. Ce jeu de données a été constitué en collectant systématiquement plus de 20 millions de vidéos de mouvements humains provenant de jeux de données publics et de plateformes en ligne, et en développant un pipeline de traitement des données novateur.

• Optimisation des données : pour améliorer la qualité des données, l'équipe a utilisé des modèles pré-entraînés pour l'estimation des points clés humains en 2D, filtré les résultats à l'aide de seuils de confiance, puis utilisé des modèles avancés pour générer des données de points clés en 3D de haute précision. De plus, des stratégies basées sur l'apprentissage par renforcement ont été entraînées pour optimiser les mouvements bruts, les rendant plus conformes aux lois de la physique.

Méthode d'encodage de mouvements MotionBook

• Quantification bidimensionnelle sans recherche : MotionBook est proposé pour modéliser les séquences de mouvements sous forme d'« images de mouvements » bidimensionnelles à canal unique, en construisant des espaces d'encodage indépendants respectivement sur l'axe temporel et l'axe des articulations, préservant ainsi intégralement les caractéristiques structurelles multidimensionnelles du mouvement. Cette méthode augmente considérablement la capacité de l'encodeur de mouvements, évite la recherche de tokens correspondants et améliore l'efficacité de la représentation des mouvements.

Modèle Being-M0

• Performance et effet d'échelle : basé sur MotionLib et MotionBook, Being-M0 présente un effet d'échelle significatif, validant la faisabilité technique du paradigme « grandes données + grands modèles » dans le domaine de la génération de mouvements. Dans des conditions de données équivalentes, la capacité du modèle et la qualité de génération présentent une corrélation positive significative ; le modèle LLaMA-2 à 13 milliards de paramètres, par rapport au modèle GPT2 à 700 millions de paramètres, réalise des avancées sur des indicateurs clés tels que la diversité des mouvements et la précision de l'alignement sémantique.

• Transfert de mouvements multiplateformes : une combinaison innovante de méthodes d'optimisation et d'apprentissage permet un transfert efficace des données de mouvements vers plusieurs robots humanoïdes, améliorant considérablement la capacité d'adaptation motrice multiplateformes.

Liens du projet

Adresse du projet :https://beingbeyond.github.io/Being-M0/

Lien de l'article :https://arxiv.org/abs/2410.03311

Github :https://github.com/BeingBeyond/Being-M0