Alter3: GPT-4 steuert Bewegung und Dialog eines humanoiden Roboters 166

Wissenschaftler der Universität Tokio haben das GPT-4-Sprachmodell (LLM) von Openai mit einem humanoiden Roboter verknüpft. Wie in einem neu veröffentlichten Paper erläutert, kann dieser als Alter3 bezeichnete Roboter gesprochene Aufforderungen gut verstehen und so Bewegungen und Gesten des Roboters steuern.

Projektadresse von Alter3:https://tnoinkwms.github.io/ALTER-LLM/

Das Team der Universität Tokio zeigte, dass Alter3 bei Anweisungen in natürlicher Sprache Posen wie Selfies, Gitarrenspielen oder sich als Geist verstellen einnimmt, ohne dass jede Bewegung explizit programmiert werden muss. GPT-4, das auch ChatGPT antreibt, ist in der Lage, Beschreibungen in beliebigen Begriffen der Nutzer zu verstehen, in der realen Welt zu reagieren oder Bilder in Verbindung mit DALL-E 3 zu erzeugen – ganz ähnlich.

Dieser Durchbruch der Wissenschaftler überbrückt die Kluft bei der dialogbasierten Interaktion mit physischen Robotern, die normalerweise eine feinkörnige Bewegungssteuerung mit spezialisierter hardwarebasierter Codebasis erfordert. Die Forscher übersetzen hochrangige Befehle in Anweisungen, die Alter3 ausführen kann. Der Roboter kann Bewegungen erlernen, wie sie ein Mensch intuitiv aufgreifen würde – von einfachen Mischegriffen bis hin zu koordinierteren Abläufen. Nutzer können die Posen von Alter3 anleiten und ihm helfen, feine Nuancen zu unterscheiden, etwa verschiedene Tanzbewegungen.

Dies ist ein humanoider Roboter, der mithilfe eines großen Sprachmodells (LLM), insbesondere GPT-4, spontane Bewegungen erzeugen kann. Dieser Erfolg wurde durch die Integration von GPT-4 in unseren proprietären Roboter Alter3 erzielt, wodurch das LLM effektiv mit den Körperbewegungen von Alter verknüpft wird. In der Regel basiert die Low-Level-Robotersteuerung auf Hardware und liegt außerhalb des LLM-Korpus, was eine direkte LLM-basierte Steuerung von Robotern erschwert.

Im Fall humanoider Roboter wie Alter3 ist eine direkte Steuerung jedoch machbar, indem sprachliche Beschreibungen menschlicher Bewegungen über Programmcode auf den Körper des Roboters abgebildet werden. Bemerkenswerterweise ermöglicht dieser Ansatz es Alter3, verschiedene Posen einzunehmen, etwa eine „Selfie“-Pose oder „sich als Geist verstellen“, und im Zeitverlauf eine Abfolge von Bewegungen zu erzeugen, ohne dass jedes Körperteil explizit programmiert werden muss.

Dies demonstriert die Zero-Shot-Lernfähigkeit des Roboters. Darüber hinaus können Posen durch mündliches Feedback angepasst werden, ohne dass ein Feintuning erforderlich ist.