Alter3: GPT-4, 휴머노이드 로봇의 동작 및 대화 제어 구동 170

도쿄 대학의 과학자들이 OpenAI의 GPT-4 대규모 언어 모델(LLM)을 휴머노이드 로봇과 연결했습니다. 새로 발표된 논문에서 설명된 바와 같이, Alter3라는 이름의 이 로봇은 대화형 프롬프트를 잘 이해하여 로봇의 동작과 제스처를 제어할 수 있습니다.

Alter3 프로젝트 주소: https://tnoinkwms.github.io/ALTER-LLM/

도쿄 대학 연구팀은 자연어로 지시할 때 셀카 촬영, 기타 연주, 유령 흉내 등의 자세를 취하는 Alter3의 모습을 시연했는데, 각 동작에 대해 명시적인 프로그래밍이 필요하지 않았습니다. ChatGPT에도 동력을 공급하는 GPT-4는 사람들이 원하는 어떤 용어로든 묘사한 내용을 이해하고, 실제 반응을 하거나 DALL-E 3 관련 이미지를 생성하는 방식과 유사하게 작동합니다.

과학자들의 이러한 돌파구는 물리적 로봇과의 대화형 상호작용에서 흔히 정밀한 동작 제어를 위해 특수한 하드웨어 기반 코드를 필요로 했던 격차를 해소했습니다. 연구원들은 고급 명령을 Alter3가 실행할 수 있는 지시로 변환합니다. 로봇은 인간이 직관적으로 동작을 익히는 것처럼 — 기본적인 카드 섞기부터 더 복잡한 협응 동작까지 — 동작을 학습할 수 있습니다. 사용자는 Alter3의 자세를 유도하고 다양한 춤 동작과 같은 미묘한 차이를 구분하도록 도울 수 있습니다.

이는 대규모 언어 모델(LLM), 특히 GPT-4를 사용하여 자발적인 동작을 생성할 수 있는 휴머노이드 로봇입니다. 이 성과는 GPT-4를 자체 개발한 로봇 Alter3에 통합하여 LLM을 Alter의 신체 동작과 효과적으로 연결함으로써 달성되었습니다. 일반적으로 저수준 로봇 제어는 하드웨어에 의존하며 LLM 말뭉치의 범위에 속하지 않기 때문에, LLM 기반의 직접적인 로봇 제어에는 어려움이 따릅니다.

그러나 Alter3와 같은 휴머노이드 로봇의 경우, 프로그램 코드를 통해 인간 동작의 언어적 표현을 로봇의 신체에 매핑하는 직접적인 제어가 가능합니다. 특히 주목할 점은, 이 접근 방식을 통해 Alter3가 '셀카' 자세나 '유령 흉내'와 같은 다양한 자세를 취하고, 각 신체 부위에 대한 명시적인 프로그래밍 없이도 일련의 동작을 시간에 걸쳐 생성할 수 있다는 것입니다.

이는 로봇의 제로샷 학습 능력을 입증합니다. 또한, 구두 피드백을 통해 미세 조정 없이도 자세를 조정할 수 있습니다.