Alter3 : GPT-4 pilote le mouvement et la conversation d'un robot humanoïde 174

Des scientifiques de l'Université de Tokyo ont associé le grand modèle de langage (LLM) GPT-4 d'Openai à un robot humanoïde. Comme l'explique un nouvel article publié, ce robot nommé Alter3 est capable de comprendre très bien les invites conversationnelles, contrôlant ainsi les mouvements et les gestes du robot.

Adresse du projet Alter3 :https://tnoinkwms.github.io/ALTER-LLM/

L'équipe de l'Université de Tokyo a démontré qu'Alter3 adoptait des poses telles que prendre un selfie, jouer de la guitare ou faire semblant d'être un fantôme lorsqu'il était guidé en langage naturel, sans avoir besoin d'une programmation explicite pour chaque mouvement. Le GPT-4, qui alimente également ChatGPT, est capable de comprendre ce que les gens décrivent dans les termes qu'ils préfèrent, de répondre de manière tangible ou de générer des images associées à DALL-E 3 d'une manière大致相同 (de manière grossièrement similaire).

Cette avancée des scientifiques comble le fossé de l'interaction conversationnelle avec les robots physiques, ce qui nécessite généralement un contrôle fin des mouvements à l'aide de code spécialisé basé sur le matériel. Les chercheurs convertissent les commandes de haut niveau en instructions exécutables par Alter3. Le robot peut apprendre des mouvements comme un humain le ferait intuitivement — des gestes de mélange de cartes basiques aux mouvements plus coordonnés. Les utilisateurs peuvent guider les poses d'Alter3 et l'aider à distinguer les nuances, comme différents mouvements de danse.

Il s'agit d'un robot humanoïde capable d'utiliser un grand modèle de langage (LLM), en particulier GPT-4, pour générer des mouvements spontanés. Cette réalisation a été accomplie en intégrant GPT-4 dans notre robot propriétaire Alter3, reliant ainsi efficacement le LLM aux mouvements corporels d'Alter. Habituellement, le contrôle robotique de bas niveau dépend du matériel et ne relève pas du corpus du LLM, ce qui pose un défi pour le contrôle robotique direct basé sur le LLM.

Cependant, dans le cas d'un robot humanoïde comme Alter3, le contrôle direct est réalisable en mappant l'expression linguistique des mouvements humains sur le corps du robot via du code de programmation. Notamment, cette approche permet à Alter3 d'adopter diverses poses, telles que la pose « selfie » ou « faire semblant d'être un fantôme », et de générer une série de mouvements au fil du temps, sans avoir besoin de programmer explicitement chaque partie du corps.

Cela démontre la capacité d'apprentissage zéro-shot du robot. De plus, les retours verbaux peuvent ajuster les poses sans nécessiter de réglage fin.