GPT-6 Astra × Unitree G1 처음 본 부엌을 치우는 휴머노이드
GPT-6 Astra를 휴머노이드에 연결했더니 처음 보는 부엌을 혼자 치웠습니다. 연구팀은 로봇을 30분 동안 두고 나갔다가 돌아왔습니다.
스탠퍼드와 칼텍 연구팀이 9월 26일 공개한 HomeBody입니다. 유니트리 G1 로봇이 먼저 부엌을 돌아보며 지도를 만들고, 그 기억을 바탕으로 "부엌 치워" 같은 한마디를 행동 대본 없이 해냅니다.
- 어디를 둘러볼지와 무엇을 할지는 GPT-6 Astra가 정합니다
- 탐색 데이터로 엔비디아 아이작 심에 부엌 디지털 트윈을 세워 시야 밖 물건도 기억합니다
- 이동, 집기, 놓기, 서랍 열기 같은 스킬을 골라 이어 붙이고, 실패하면 스스로 다시 시도합니다
- 스킬은 RTX 4090 노트북 한 대에서 돌고 Astra는 원격으로 부릅니다
- 한계도 적었습니다. Astra 추론 지연으로 동작 사이가 끊기고 손가락 모터가 과열되며 준비에 API 비용이 듭니다
연구팀 영상 자막은 이 일을 위한 학습도 학습 데이터도 없었다고 밝혔습니다. 코드는 곧 공개할 예정입니다.
출처 Stanford TML HomeBody 프로젝트 페이지(tml.stanford.edu/homebody)
광고
카드 내용
- 처음 보는 부엌처음 온 부엌에 로봇을 세웠습니다
스탠퍼드 연구팀이 유니트리 G1을 낯선 부엌에 데려왔습니다. 두뇌는 GPT-6 Astra입니다.
출처: Stanford TML HomeBody 공식 영상 - 1단계 · 탐색먼저 혼자 부엌을 돌아봅니다
어디를 볼지는 Astra가 직접 고릅니다. 카메라와 레이저 센서로 본 것을 기억에 쌓아 둡니다.
출처: Stanford TML HomeBody 공식 영상 - 2단계 · 디지털 트윈본 대로 부엌을 다시 짓습니다
탐색한 데이터로 시뮬레이터 속에 부엌을 세웁니다. 그래서 시야에서 사라진 물건도 어디 있는지 압니다.
출처: Stanford TML HomeBody 공식 영상 - 3단계 · 정리30분 뒤, 부엌이 치워져 있었습니다
커피는 가운데로 모으고 상한 우유갑은 버리라고 했습니다. 이 일을 위한 학습도, 학습 데이터도 없었습니다.
출처: Stanford TML HomeBody 공식 영상 - 심부름약 좀 갖다 달라는 말에 서랍을 엽니다
약은 처음부터 보이지 않는 서랍 속에 있었습니다. 기억해 둔 장면으로 서랍을 찾아 꺼내 건넸습니다.
출처: Stanford TML HomeBody 공식 영상 - 재시도 · 빨리 감기놓치면 다시 집습니다
잡는 데 실패하면 자세를 고쳐 다시 시도합니다. 그래도 안 되면 이유를 Astra에게 넘겨 계획을 바꿉니다.
출처: Stanford TML HomeBody 공식 영상
광고
