Alter3：GPT-4がヒューマノイドロボットの動作と会話制御を強化 171

東京大学の科学者がOpenaiのGPT-4大規模言語モデル（LLM）をヒューマノイドロボットに接続した。新しく発表された論文によると、Alter3と呼ばれるこのロボットは会話による指示を理解し、ロボットの動きやジェスチャーを制御することができる。

Alter3プロジェクトアドレス：https://tnoinkwms.github.io/ALTER-LLM/

東京大学のチームは、Alter3が自然言語で指示された際に、一つ一つの動作を明示的にプログラミングすることなく、セルフィー、ギターの演奏、幽霊のふりなどのポーズを取ることを実証した。GPT-4はChatGPTにも搭載されており、人々が好きな用語で記述した内容を理解し、物理的な応答をしたり、DALL-E 3に関連する画像を生成したりすることができるのとほぼ同じ方法である。

科学者たちのこのブレークスルーは、物理的なロボットとの対話型インタラクションのギャップを埋めるもので、これまでは通常、専門的なハードウェアベースのコードを使用して動きを細かく制御する必要があった。研究者は、高度なコマンドをAlter3が実行できる命令に変換する。ロボットは、人間が直感的に動きを拾い上げるように、基本的なシャッフルからより協調的な動作まで動きを学習することができる。ユーザーはAlter3のポーズを誘導し、異なるダンスの動きなど微妙な区別を付けるのを助けることができる。

これは、大規模言語モデル（LLM）、特にGPT-4を使用して自発的な動きを生成することができるヒューマノイドロボットである。この成果は、GPT-4を独自のロボットAlter3に統合することで実現され、事実上LLMをAlterの身体動作に接続している。通常、低レベルのロボット制御はハードウェアに依存し、LLMコーパスの範囲外であるため、LLMベースの直接的なロボット制御は課題となっている。

しかし、Alter3のようなヒューマノイドロボットの場合、プログラムコードによって人間の動きの言語表現をロボットの身体にマッピングすることで、直接制御が可能である。注目すべきは、このアプローチによりAlter3が「セルフィー」のポーズや「幽霊のふり」などさまざまなポーズを採用し、各身体部位を明示的にプログラミングすることなく時間とともに一連の動作を生成できることである。

これはロボットのゼロショット学習能力を証明している。さらに、口頭でのフィードバックによって微調整なしでポーズを調整することができる。