휴먼클로 벤치마크가 비전 언어 모델의 신체 지능을 측정했다: 최고 성적이 16.8%에 그쳤다

메타와 난양공대, 워싱턴대, 브라운대, 노스웨스턴대 공동 연구진이 2026년 8월 3일 공개한 휴먼클로(HumanCLAW)는 비전 언어 모델이 몸을 가진 행위자로 작동할 수 있는지를 측정하는 평가 체계다. 벤치마크는 실내 장면 41곳에서 물체를 찾아 다가가 앉기까지 수행하는 1인칭 시점 장기 과제 1,218개로 구성되며, 최신 모델 9종 중 어느 것도 이 과제를 풀지 못했다. 최고 성적은 제미나이 3.1의 16.8%였고, 논문이 지목한 병목은 물체 인식이 아니라 자기 몸의 위치를 추적하지 못하는 신체 자기인식(embodied self-awareness)의 결여였다. ASAP은 arXiv 2607.27180 원문을 1차 출처로 이 벤치마크가 무엇을 분리해 측정했는지 정리한다.

몸을 떼어내고 판단만 남기는 반물리 인터페이스

휴먼클로의 설계 핵심은 행동 결정과 운동 제어를 분리한 데 있다. 기존 구현 지능(embodied AI) 평가에서는 모델의 판단이 좋아도 관절 제어가 실패하면 과제가 실패하므로, 판단 능력과 운동 능력이 한 점수에 섞여 원인을 가릴 수 없었다. 연구진은 비전 언어 모델이 원자 단위 스킬 명령만 내리고 물리 시뮬레이터가 그 명령을 중력과 충돌이 작동하는 연속 전신 동작으로 옮기는 구조를 택했다.

모델이 쓸 수 있는 명령은 여덟 가지로 고정돼 있다. walk(x,z,ψ), side_step(x), step_back(z), turn_in_place(θ), climb_upstairs(h,d), walk_downstairs(h,d), sit_in_place(h), stop이 전부다. 논문은 이 구조를 반물리(half-physics)라고 부르며, 균형 유지와 모터 추적은 시뮬레이터가 대신 처리하는 대신 충돌과 지형은 실제로 작동한다고 밝혔다.

과제 자체는 세 단계로 이어진다. 1인칭 시야만 보고 지정된 물체 범주를 찾아내고, 그 물체로부터 20센티미터 이내까지 접근하고, 마지막으로 그 위에 앉는다. 1,218개 에피소드는 HSSD 검증용 주택 41곳에서 생성됐으며, 침대와 소파, 변기를 표적으로 하는 앉기 하위 집합 597개와 의자, 화분, TV를 표적으로 하는 이동 하위 집합 621개로 나뉜다. 각 에피소드는 표적까지의 측지 거리와 회전 및 통과 방 수, 경로 1미터 이내 평균 장애물 수라는 세 축으로 난이도가 나뉜다.

모델 9종 성적표: 찾기는 되고 앉기는 안 된다

평가된 9종 가운데 세 단계를 모두 통과한 비율이 가장 높은 모델은 제미나이 3.1로 16.8%였고, 나머지 8종은 모두 한 자릿수이거나 0%에 가까웠다. 단계별 성공률(FindSR, NavSR, InteractSR)은 다음과 같다.

모델	찾기	이동	앉기
제미나이 3.1	64.9%	42.4%	16.8%
제미나이 2.5	58.5%	21.6%	3.5%
GPT-5.5	55.1%	13.9%	3.4%
젬마 4 31B	58.1%	28.7%	11.1%
Qwen3.6 27B	51.0%	20.9%	0.2%
InternVL3.5 38B	46.8%	0.8%	0.0%
Qwen3.6 35B-A3B	44.6%	5.8%	0.0%
Qwen3.5 27B	37.8%	13.5%	0.0%
클로드 4.8	32.6%	8.6%	1.5%

표에서 눈에 띄는 것은 순위가 아니라 각 행의 하강 폭이다. 제미나이 3.1은 64.9%에서 16.8%로 세 단계를 거치며 4분의 1 수준으로 줄었고, InternVL3.5 38B는 물체를 46.8% 찾아내고도 이동 단계에서 0.8%로 무너졌다. 논문은 인간 기준선을 제시하지 않았으므로 이 수치들은 서로 간의 비교로만 읽어야 한다.

감쇠 곡선이 이 벤치마크의 진짜 발견이다

휴먼클로가 기존 평가와 다른 지점은 하나의 성공률 대신 단계별 성공률 세 개를 남긴 데 있다. 물체 인식 능력만 재는 벤치마크였다면 제미나이 3.1의 64.9%가 결론이 되고, 최신 모델이 실내 물체를 상당히 잘 찾는다는 익숙한 이야기로 끝났을 것이다. 세 단계로 쪼갠 순간 같은 모델의 점수는 64.9%, 42.4%, 16.8%라는 하강 수열이 되고, 여기서 나오는 질문은 완전히 다르다. 무엇을 봐야 하는지 아는 능력과 그 앞까지 자기 몸을 옮기는 능력이 별개의 문제라는 것이다.

이 구분은 최근 몇 년간 멀티모달 모델의 개선 방향과 정면으로 어긋난다. 시각 이해 성능은 이미지 한 장을 정확히 설명하는 능력을 기준으로 측정돼 왔고, 그 축에서 모델들은 빠르게 좋아졌다. 휴먼클로가 요구하는 것은 이미지 여러 장을 시간 순서로 이어 붙여 그 안에서 자기 몸이 어디에 있고 목표까지 얼마나 남았는지를 갱신하는 능력이다. 앞의 능력이 정적 관찰이라면 뒤의 능력은 상태 추적에 가깝다.

여기서 반물리 설계의 값어치가 드러난다. 운동 제어를 시뮬레이터가 대신 처리했는데도 성적이 16.8%에 머물렀다는 것은, 휴머노이드가 잘 걷지 못해서 일을 못하는 것이 아니라는 뜻이다. 로봇 하드웨어의 보행 안정성이 완벽해진다고 가정해도 이 벤치마크의 점수는 그대로 남는다. 병목이 몸이 아니라 몸을 지휘하는 머리 쪽에 있다는 진단이 이 설계에서 도출된다.

실패 원인의 대부분은 인식이 아니라 자기 위치 파악이다

실패 분류 결과에서 가장 큰 몫을 차지한 것은 시각 인지가 아니라 신체 자기인식 오류였다. 모델 전체를 합쳐 표적을 찾아낸 에피소드 5,473개 중 68%가 이동 단계에서 실패했는데, 원인별로 보면 자기 거리 환각으로 표적에서 멀리 떨어진 채 멈춘 경우가 30%, 이미 도착했는데도 도착 신호를 보내지 않은 경우가 20%, 몸이 지형에 끼었는데 인지하지 못하고 계속 전진 명령을 낸 경우가 14%였다. 이 세 가지를 합하면 약 64%다. 같은 구간에서 중간 수준 추론 실패는 17%, 시각 인지 실패는 9%, 행동과 보행 실패는 10%에 그쳤다.

상호작용 단계에서는 편중이 더 심하다. 이동에 성공한 726개 에피소드 중 71%가 앉기에 실패했고, 그 원인의 81%가 신체 인식 오류였다. 세부 항목은 아무것도 없는 허공에 앉으려 한 경우 58%, 엉뚱한 물체에 앉은 경우 14%, 좌석에 도달하고도 그 위에서 멈추지 않은 경우 9%다. 앉으라는 명령 자체를 끝내 내리지 않은 결정 실패는 19%였다.

찾기 단계의 실패 구성은 조금 다르다. 비효과적 탐색을 포함한 중간 수준 추론 실패가 38%로 가장 컸고, 표적이 화면에 렌더링됐는데도 알아보지 못한 인지 누락이 23%, 표적을 보지 않은 채 접근한 경우가 10%, 무효한 행동이 12%, 끼임을 인지하지 못한 경우가 9%였다. 충돌 분석에서는 충돌 발생 시점의 신체 부위 비중이 다리와 발 28~45%, 팔과 손 20~35%, 몸통 10~24%, 머리 7% 미만으로 나타났다.

이 분포가 시사하는 바는 개선의 방향이다. 시각 인지 실패가 이동 단계에서 9%에 그쳤다는 것은 더 좋은 눈을 붙인다고 이 점수가 오르지 않는다는 뜻이다. 필요한 것은 자기 몸의 위치와 상태를 시간에 걸쳐 유지하는 표현이며, 이는 시각 인코더가 아니라 상태 관리 구조의 문제다.

이미지를 더 넣으면 오히려 나빠진다

절제 실험 결과 중 실무적으로 가장 값진 발견은 시각 정보를 늘릴수록 성능이 떨어졌다는 사실이다. 에피소드 100개로 구성한 소규모 검증 집합에서 기본 설정(텍스트 이력 10단계, 이미지 1장)의 이동 성공률은 27.0%였는데, 이미지를 10장으로 늘리자 13.0%로 절반 아래로 떨어졌다. 이미지 2장에서 31.0%로 소폭 올랐다가 5장 28.0%, 10장 13.0%로 무너지는 형태다.

텍스트 이력은 다르게 움직였다. 이력을 전혀 주지 않으면 이동 성공률이 11.0%로 떨어져 이력이 필수임이 확인됐지만, 10단계에서 27.0%를 기록한 뒤 20단계 27.0%, 50단계 28.0%, 100단계 26.0%로 사실상 평평해졌다. 논문의 표현대로 텍스트 이력은 필요하지만 빠르게 포화한다.

가장 결정적인 구성 요소는 스킬 검증기였다. 검증기를 제거하자 이동 성공률이 27.0%에서 2.0%로, 앉기 성공률은 18.9%에서 0.0%로 붕괴했다. 중간 수준 추론 모듈을 제거한 경우에는 찾기 성공률이 오히려 62.0%로 올랐지만 앉기 성공률은 0.0%가 됐다.

이 세 결과를 묶으면 통념 하나가 뒤집힌다. 구현 지능 과제에서 컨텍스트를 늘리는 방향, 특히 시각 프레임을 더 많이 밀어 넣는 방향은 개선책이 아니다. 이미지 10장이 오히려 해로웠다는 결과는 모델이 여러 프레임을 시간 순서로 통합하는 대신 최근 프레임과 과거 프레임을 혼동한다는 해석과 맞아떨어지며, 이는 실패 분류에서 나온 자기 거리 환각 30%와 같은 현상을 다른 각도에서 본 것이다.

국내 조직이 이 숫자를 로봇 도입 판단에 쓰는 법

국내에서 휴머노이드나 서비스 로봇 도입을 검토하는 조직에 이 논문이 주는 첫 번째 시사점은 성능 질문을 바꿔야 한다는 것이다. 공급사 시연에서 확인해야 할 것은 로봇이 물체를 알아보는지가 아니라, 자기가 목표에 도달했는지를 스스로 판단해 멈추는지다. 이동 실패 원인의 30%가 거리 환각이고 20%가 도착 신호 미발신이라는 분포는, 시연 성공과 현장 실패를 가르는 지점이 인식 정확도가 아니라 종료 판단에 있음을 보여준다.

두 번째 시사점은 구조 설계에 있다. 검증기를 떼면 성공률이 27.0%에서 2.0%로 무너졌다는 결과는 언어 모델의 판단을 그대로 실행에 연결하지 말고 각 명령의 실행 가능성을 별도로 확인하는 계층을 두라는 뜻이다. 창고 물류나 시설 점검처럼 정해진 동선을 반복하는 작업이라면, 모델의 자율 판단보다 이 검증 계층의 설계가 실제 성공률을 좌우한다.

세 번째는 도입 시점 판단이다. 최고 성적 16.8%는 열 번 중 여덟 번 이상 실패한다는 뜻이므로, 사람이 지켜보지 않는 자율 수행 구간에 현 세대 비전 언어 모델을 그대로 얹는 구성은 성립하지 않는다. 반면 사람이 목표를 지정하고 로봇이 짧은 구간만 자율로 처리하는 구성은 찾기 성공률 64.9%라는 다른 수치의 지배를 받는다. 자율 구간을 짧게 끊을수록 성공률이 올라가는 구조이므로, 도입 설계는 구간 분할 문제로 접근하는 편이 실효적이다.

이 결과를 확대 해석하지 못하게 하는 조건들

논문 자체가 밝힌 첫 번째 제약은 반물리라는 추상화다. 시뮬레이터가 균형과 모터 추적을 대신 처리하므로, 판단을 잘하는 모델을 실제 휴머노이드에 옮겼을 때 같은 성적이 나온다는 보장은 없다. 연구진은 이 이전 가능성을 검증된 결론이 아니라 작업 가설로 명시했다.

두 번째는 감각 채널의 부재다. 인터페이스에는 촉각 통로가 없어서 충돌이 세계를 밀어내기는 해도 모델이 그 충돌을 느끼지는 못한다. 끼임을 인지하지 못하고 전진 명령을 반복한 실패 14%를 이 조건과 떼어놓고 해석하면 안 된다. 실제 로봇에는 관절 토크나 접촉 센서가 있으므로 같은 유형의 실패가 같은 비율로 재현되지는 않는다.

세 번째는 어휘의 크기다. 상호작용 명령이 사실상 앉기 하나이므로, 이 벤치마크가 측정한 신체 지능은 물건을 집어 옮기거나 도구를 쓰는 조작 능력을 포함하지 않는다. 결정 수준의 원인 분석 역시 여덟 가지 스킬 어휘를 기준으로 한 것이므로, 어휘가 달라지면 실패 분류의 비중도 달라진다.

네 번째는 평가 대상의 상태다. 연구진은 추가 학습 없이 동결된 상용 모델만 평가했으며, 신체 자기인식을 겨냥한 학습이 이 한계를 끌어올릴 수 있는지는 열린 질문이라고 밝혔다. 논문은 이 질문을 해결 가능한 문제로 본다고 덧붙였다. 다섯 번째는 인간 기준선이 없다는 점이다. 16.8%가 사람 대비 어느 수준인지는 이 논문만으로 말할 수 없다.

출처: arXiv 2607.27180v2 HumanCLAW: Can Vision-Language Models Act Through a Body?(2026-08-03) 기반 ASAP 정리.