Being-M0：データとモデル協調性を備えたヒューマノイドロボット汎用動作生成フレームワーク 81

北京大学と中国人民大学の研究チームが、人型ロボット動作生成の分野で重要な進展を達成しました。彼らは Being-M0 という汎用動作生成フレームワークを開発し、初の百万規模を誇る動作生成データセット MotionLib を作成しました。このデータセットは、革新的なデータ処理フローと詳細なラベリング手法により、高品質な動作データを抽出し、複数のデータ形式をサポートしています。研究結果から、大量のデータと強力なモデルを活用することで動作生成効果を効果的に向上できることが示されました。さらに、チームは MotionBook という新しい動作符号化手法を提案し、動作生成効果のさらなる最適化を実現しました。また、最適化と学習を組み合わせた手法により、人体の動作をさまざまな人型ロボットに効率的に適用し、人型ロボットの開発に大きく貢献しています。

データセット MotionLib

• 規模とラベリング：MotionLib は業界初の百万規模の動作生成データセットであり、120万を超える動作シーケンスを含み、階層的で詳細なテキストラベリングが付属しています。このデータセットは、公開データセットやオンラインプラットフォームから系統的に2000万を超える人体動作動画を収集し、革新的なデータ処理パイプラインを開発することで構築されました。

• データ最適化：データ品質を向上させるため、チームは事前学習済みモデルを用いて2D人体のキーポイント推定を行い、確信度しきい値でフィルタリングした後、先進的なモデルを用いて高精度な3Dキーポイントデータを生成しました。さらに、強化学習に基づくポリシーを学習させ、元の動作を最適化して物理法則により適合させました。

動作符号化手法 MotionBook

• 二次元ルックアップフリー量子化：MotionBook を提案し、動作シーケンスを単一チャンネルの二次元「動作画像」としてモデル化し、時間軸と関節軸それぞれに独立した符号化空間を構築することで、動作の多次元的な構造特徴を完全に保持します。この手法は動作エンコーダーの容量を大幅に拡張し、対応するトークンのルックアップを必要とせず、動作表現の効率を向上させます。

モデル Being-M0

• 性能と規模効果：MotionLib と MotionBook に基づき、Being-M0 は顕著な規模効果を示し、「ビッグデータ＋ビッグモデル」が動作生成分野において技術的に実現可能であることを検証しました。同等のデータ条件下では、モデル容量と生成品質に顕著な正の相関が見られ、13B パラメータの LLaMA-2 モデルは、700M パラメータの GPT2 と比較して、動作の多様性やセマンティック整合精度などの主要な指標でいずれもブレークスルーを達成しました。

• クロスプラットフォーム動作転移：最適化と学習手法を革新的に融合させ、動作データのさまざまな人型ロボットへの効率的な転移を実現し、クロスプラットフォーム動作適応能力を大幅に向上させました。

プロジェクトリンク

プロジェクトアドレス：https://beingbeyond.github.io/Being-M0/

論文リンク：https://arxiv.org/abs/2410.03311

Github：https://github.com/BeingBeyond/Being-M0