Being-M0: Ein universelles Bewegungs-Generierungs-Framework für humanoide Roboter mit Daten-Modell-Synergie 79

Die Forschungsteams der Universität Peking und der Renmin-Universität China haben wichtige Fortschritte bei der Erzeugung von Bewegungen humanoider Roboter erzielt. Sie haben ein universelles Bewegungserzeugungs-Framework namens Being-M0 entwickelt und den ersten Bewegungserzeugungs-Datensatz im Millionenmaßstab namens MotionLib erstellt. Dieser Datensatz extrahiert durch einen innovativen Datenverarbeitungsprozess und detaillierte Annotationsmethoden qualitativ hochwertige Bewegungsdaten und unterstützt verschiedene Datenformate. Die Forschungsergebnisse zeigen, dass die Nutzung großer Datenmengen und leistungsstarker Modelle die Effektivität der Bewegungserzeugung wirksam verbessern kann. Das Team schlug außerdem eine neue Bewegungscodierungsmethode namens MotionBook vor, um den Bewegungserzeugungseffekt weiter zu optimieren. Darüber hinaus haben sie durch die Kombination von Optimierungs- und Lernmethoden menschliche Bewegungen effizient auf verschiedene humanoide Roboter übertragen und bieten damit eine starke Unterstützung für die Entwicklung humanoider Roboter.

Datensatz MotionLib

• Umfang und Annotation: MotionLib ist der erste Bewegungserzeugungs-Datensatz im Millionenmaßstab in der Branche und enthält über 1,2 Millionen Bewegungssequenzen mit hierarchischen und detaillierten Textannotationen. Der Datensatz wurde systematisch aus öffentlichen Datensätzen und Online-Plattformen zusammengestellt, wobei über 20 Millionen Videos menschlicher Bewegungen gesammelt und eine innovative Datenverarbeitungs-Pipeline entwickelt wurden.

• Datenoptimierung: Zur Verbesserung der Datenqualität verwendete das Team vortrainierte Modelle zur 2D-Schlüsselpunktschätzung des menschlichen Körpers, filterte mithilfe von Konfidenzschwellenwerten und nutzte fortschrittliche Modelle zur Erzeugung hochpräziser 3D-Schlüsselpunktdaten. Darüber hinaus wurde eine auf verstärkendem Lernen basierende Strategie trainiert, um die ursprünglichen Bewegungen zu optimieren und sie besser mit physikalischen Gesetzmäßigkeiten in Einklang zu bringen.

Bewegungscodierungsmethode MotionBook

• Lookup-freie 2D-Quantisierung: MotionBook wird vorgeschlagen, das Bewegungssequenzen als einkanalige zweidimensionale „Bewegungsbilder" modelliert und unabhängige Codierungsräume auf der Zeitachse bzw. der Gelenkachse aufbaut, wodurch die mehrdimensionalen Struktureigenschaften der Bewegung vollständig erhalten bleiben. Diese Methode erweitert die Kapazität des Bewegungscodierers erheblich, benötigt keine entsprechenden Token und verbessert die Effizienz der Bewegungsdarstellung.

Modell Being-M0

• Leistung und Skalierungseffekte: Basierend auf MotionLib und MotionBook zeigt Being-M0 deutliche Skalierungseffekte, was die technische Machbarkeit von „Big Data + Big Model" im Bereich der Bewegungserzeugung bestätigt. Unter gleichen Datenbedingungen besteht eine signifikante positive Korrelation zwischen Modellkapazität und Generierungsqualität. Ein LLaMA-2-Modell mit 13B-Parametern erreicht im Vergleich zu einem GPT2-Modell mit 700M-Parametern bei Kernindikatoren wie Bewegungsvielfalt und semantischer Ausrichtungsgenauigkeit deutliche Durchbrüche.

• Plattformübergreifende Bewegungsmigration: Durch die innovative Kombination von Optimierungs- und Lernmethoden wird eine effiziente Migration von Bewegungsdaten auf verschiedene humanoide Roboter erreicht, wodurch die plattformübergreifende Bewegungsanpassungsfähigkeit deutlich verbessert wird.

Projektlinks

Projekt-URL:https://beingbeyond.github.io/Being-M0/

Paper-Link:https://arxiv.org/abs/2410.03311

Github:https://github.com/BeingBeyond/Being-M0