Alter3: GPT-4 управляет движением и диалогом гуманоидного робота 172

Учёные из Токийского университета связали крупную языковую модель (LLM) GPT-4 от Openai с гуманоидным роботом. Как поясняется в новой научной работе, этот робот под названием Alter3 способен хорошо понимать диалоговые подсказки, что позволяет управлять движениями и жестами робота.

Адрес проекта Alter3:https://tnoinkwms.github.io/ALTER-LLM/

Команда Токийского университета продемонстрировала, что Alter3 способен принимать такие позы, как селфи, игра на гитаре или притворство привидением, при получении инструкций на естественном языке — без необходимости явного программирования каждого движения. GPT-4, которая также обеспечивает работу ChatGPT, способна понимать то, что люди описывают в любых удобных для них терминах, давать содержательные ответы или генерировать изображения с помощью DALL-E 3 — приблизительно таким же образом.

Этот прорыв учёных устранил разрыв в диалоговом взаимодействии с физическими роботами, для которого обычно требуется специализированный аппаратный код для точного управления движениями. Исследователи преобразуют высокоуровневые команды в инструкции, которые Alter3 может выполнять. Робот может обучаться движениям так, как человек интуитивно осваивает движения — от простого перемешивания до более сложных скоординированных действий. Пользователи могут направлять позы Alter3 и помогать ему различать нюансы, например, разные танцевальные движения.

Это гуманоидный робот, способный генерировать спонтанные движения с помощью крупной языковой модели (LLM), в частности GPT-4. Это достижение стало возможным благодаря интеграции GPT-4 в нашего собственного робота Alter3, что эффективно связывает LLM с физическими движениями Alter. Как правило, низкоуровневое управление роботом зависит от аппаратного обеспечения и выходит за рамки корпуса LLM, что создаёт трудности для прямого управления роботом на основе LLM.

Однако в случае гуманоидного робота, такого как Alter3, прямое управление оказывается осуществимым благодаря программному коду, который сопоставляет языковое описание человеческих движений с телом робота. Примечательно, что этот подход позволяет Alter3 принимать различные позы, такие как «селфи» или «притворство привидением», и генерировать последовательность действий с течением времени без явного программирования каждой части тела.

Это демонстрирует способность робота к обучению в режиме zero-shot. Кроме того, устная обратная связь позволяет корректировать позы без дообучения модели.