Being-M0: marco universal de generación de movimientos para robots humanoides con sinergia entre datos y modelo 80

El equipo de investigación de la Universidad de Peking y la Universidad Renmin de China ha logrado avances significativos en la generación de movimientos para robots humanoides. Han desarrollado un marco de generación de movimientos universal llamado Being-M0 y han creado MotionLib, el primer conjunto de datos de generación de movimientos a escala de millones. Este conjunto de datos, mediante un innovador proceso de procesamiento y métodos de anotación detallados, extrae datos de movimiento de alta calidad y admite múltiples formatos de datos. Los resultados de la investigación demuestran que el uso de grandes cantidades de datos y modelos potentes puede mejorar eficazmente el rendimiento de la generación de movimientos. El equipo también propuso MotionBook, un nuevo método de codificación de movimientos que optimiza aún más el efecto de generación de movimientos. Además, mediante la combinación de métodos de optimización y aprendizaje, aplicaron de forma eficiente los movimientos humanos a diversos robots humanoides, proporcionando un fuerte apoyo al desarrollo de estos últimos.

Conjunto de datos MotionLib

• Escala y anotación: MotionLib es el primer conjunto de datos de generación de movimientos a escala de millones en la industria, que contiene más de 1,2 millones de secuencias de movimiento y cuenta con anotaciones de texto jerárquicas y detalladas. Este conjunto de datos recopila sistemáticamente más de 20 millones de vídeos de movimientos humanos a partir de conjuntos de datos públicos y plataformas en línea, y ha desarrollado un innovador proceso de procesamiento de datos.

• Optimización de datos: para mejorar la calidad de los datos, el equipo utilizó modelos preentrenados para la estimación de puntos clave 2D del cuerpo humano, aplicando un filtrado mediante umbral de confianza, y luego empleó modelos avanzados para generar datos de puntos clave 3D de alta precisión. Además, entrenaron una estrategia basada en aprendizaje por refuerzo para optimizar los movimientos originales, haciendo que se ajusten mejor a las leyes físicas.

Método de codificación de movimientos MotionBook

• Cuantización 2D sin búsqueda: se propone MotionBook, que modela las secuencias de movimiento como «imágenes de movimiento» 2D de un solo canal, construyendo espacios de codificación independientes en el eje temporal y en el eje de las articulaciones, preservando completamente las características multidimensionales del movimiento. Este método amplía significativamente la capacidad del codificador de movimientos, eliminando la necesidad de buscar tokens correspondientes y mejorando la eficiencia de la representación del movimiento.

Modelo Being-M0

• Rendimiento y efecto de escala: basado en MotionLib y MotionBook, Being-M0 muestra un notable efecto de escala, lo que valida la viabilidad técnica de «grandes datos + gran modelo» en el campo de la generación de movimientos. En las mismas condiciones de datos, la capacidad del modelo y la calidad de la generación muestran una correlación positiva significativa. El modelo LLaMA-2 de 13B de parámetros, en comparación con el modelo GPT2 de 700M de parámetros, logra avances en indicadores clave como la diversidad de movimientos y la precisión de alineación semántica.

• Transferencia de movimientos entre plataformas: mediante la innovación que combina optimización y aprendizaje, se logró una transferencia eficiente de los datos de movimiento a múltiples robots humanoides, mejorando significativamente la capacidad de adaptación de movimientos entre plataformas.

Enlaces del proyecto

Dirección del proyecto:https://beingbeyond.github.io/Being-M0/

Enlace del artículo:https://arxiv.org/abs/2410.03311

Github:https://github.com/BeingBeyond/Being-M0