사람 마음을 빼놓은 월드모델은 다음 행동을 틀린다: Menti-Bench에서 F1 63.3에서 87.9로

물리적 장면만 추적하는 월드모델은 사람이 다음에 무엇을 할지 예측할 때 F1 63.3에 그쳤고, 믿음과 의도까지 상태로 다룬 파이프라인은 같은 문제에서 87.9를 기록했다고 arXiv 논문 2607.27201이 보고했다. 옥스퍼드대 Hao Fei와 싱가포르국립대 Yiran Zhao가 쓴 'Mental World Modeling'은 2026년 7월 29일 arXiv에 올랐고, 8월에 코드 Mentis와 평가셋 Menti-Bench 448건이 함께 공개됐다. 사람은 같은 문항에서 98.5를 냈다. ASAP은 논문과 저장소를 1차 출처로 이 결과를 정리한다.

물리적으로 완벽한 장면 이해가 행동 예측을 보장하지 않는다

기존 월드모델은 무엇이 어디에 있고 어떻게 변할 것인가라는 물리적 질문에만 답하는 장치이며, Mental World Modeling 논문은 이 정의 자체를 문제 삼는다. 사람의 행동은 그 정보만으로 결정되지 않기 때문이다. 누군가 자리를 비운 사이에 물건이 옮겨졌다면, 그 사람은 물건의 실제 위치가 아니라 자기가 마지막으로 본 위치를 뒤진다. 약속이 조용히 깨졌는데 당사자가 모른다면 여전히 그 약속대로 움직인다. 장면은 완벽하게 파악하고도 행동 예측은 틀리는 것이다.

MWM은 이 문제를 세계 상태의 정의를 바꾸는 방식으로 다룬다. 상태를 물리 상태와 정신 상태가 결합된 하나의 값으로 두고, 대상 인물이 실제로 보고 듣고 알 수 있는 범위만 걸러낸 부분 관측을 따로 만든 뒤, 후보 행동 각각이 장면과 마음을 어떻게 동시에 바꾸는지 시뮬레이션한다. 여기서 중요한 것은 믿음이나 의도를 사후 설명으로 붙이지 않고 상태 변수로 승격시킨다는 점이다. 설명은 틀려도 티가 안 나지만 상태는 다음 단계 입력이 되므로 틀리면 결과가 어긋난다.

이를 구현한 Mentis는 학습이 필요 없는 6단계 파이프라인이다. 장면 파싱, 대상 관측 렌더링, 행동 분해, 결합된 물리 및 정신 전이, 분기 평가, 결정 순으로 돌아간다. 각 단계가 중간 산출물을 그대로 기록하기 때문에 예측이 틀렸을 때 상태 파싱이 잘못됐는지, 관측에 알 수 없는 정보가 새어 들어갔는지, 전이가 비현실적이었는지, 평가가 나빴는지를 구분할 수 있다. 마지막 결정은 정신 정합성, 물리적 타당성, 사회적 적절성 세 기준을 각각 0.45, 0.35, 0.20으로 가중해 LLM 바깥에서 결정론적으로 내린다.

사다리를 한 칸씩 올린 결과와 채널을 하나씩 뺀 결과

평가는 448건의 Menti-Bench 전체에 대해 최종 행동 F1으로 이뤄졌다. 월드모델 역할에는 OpenAI 5종(gpt-5.6-sol, gpt-5.5, gpt-5.4, gpt-5.4-mini, gpt-4.1)과 Anthropic 3종(claude-fable-5, claude-opus-4-8, claude-haiku-4-5) 여덟 모델이 들어갔다. 논문은 이들의 평균으로 사다리 S0부터 S6까지를 보고한다.

선택지만 주고 이야기를 감춘 바닥(S0)은 31.3이었다. 여덟 모델이 29.7에서 33.2 사이에 좁게 모여 있었고, 이는 모델이 강해져도 선택지만으로는 아무것도 더 얻지 못한다는 뜻이다. 이야기를 읽히면(S1) 63.3으로 32.0점 오른다. 사고 사슬을 붙이면(S2) 74.6, 여섯 번 샘플링해 다수결하면(S3) 77.9다. 여기부터가 모델링 구간이다. 형식 없이 세계 상태를 적게 하면(S4) 80.3, 물리와 정신을 구분한 스키마에 채워 넣게 하면(S5) 82.6, 관측 렌더링과 분기 시뮬레이션과 가치 평가까지 붙인 완전 MWM(S6)이 87.9다.

여기서 눈에 띄는 대비가 하나 있다. 형식 없는 상태 메모만 써도(80.3) 여섯 번 샘플링한 자기일관성(77.9)을 이미 넘어선다. 그리고 S3은 S6에 평균 10.0점 뒤지는데, 가장 약한 모델인 gpt-4.1의 S6(84.9)이 가장 강한 모델인 gpt-5.6-sol의 S3(83.6)을 넘겼다. 계산을 더 쏟는 방식으로는 이 격차가 메워지지 않는다는 뜻이다.

절제 실험은 프레임워크의 세 가지 구조적 주장을 각각 확인한다. 정신 채널을 빼면 평균 12.1점, 물리 채널을 빼면 16.5점, 두 전이를 서로 독립적으로 예측하면 6.4점을 잃는다. S6이 가장 높고 그다음이 분리 전이, 정신 제거, 물리 제거 순이라는 서열은 여덟 모델 전부에서 동일하게 나타났다. 물리만으로는 부족하고, 정신 추론도 물리적 근거 없이는 무너지며, 두 채널을 함께 전이시키는 편이 따로 다루는 것보다 낫다는 결론이다.

구조가 필요한 쪽은 강한 모델이 아니라 약한 모델이다

가장 반직관적인 결과는 기저 모델이 강할수록 구조의 이득이 줄어든다는 것이다. S6과 S1의 차이는 gpt-5.6-sol에서 21.1점인 반면 gpt-4.1에서는 28.0점이었고, claude-fable-5에서 22.1점인 반면 claude-haiku-4-5에서는 25.8점이었다. 두 계열이 같은 방향을 보였으므로 한 회사의 특성이 아니다.

이 숫자를 어떻게 읽을지가 갈린다. 낙관적으로 읽으면, 모델이 강해질수록 명시적 구조가 필요 없어지고 결국 스케일이 문제를 흡수한다는 이야기가 된다. 논문은 그렇게 읽지 않으며, 그 근거도 데이터 안에 있다. 이득이 줄어드는 것이지 사라지는 것이 아니고, 가장 강한 모델도 완전 MWM 없이는 S1에서 69.6에 머물렀다. 실무 관점에서 더 중요한 함의는 다른 쪽이다. 약한 모델일수록 구조의 이득이 크다면, 파이프라인을 잘 짜는 것이 상위 모델 API로 갈아타는 것을 부분적으로 대체할 수 있다는 뜻이 된다. 비용 구조를 다시 계산할 여지가 여기서 생긴다.

이득이 몰리는 자리도 분명하다. 대인 관계 상황은 직접 답변에서 가장 약한 범주(66.5)였다가 완전 MWM에서 가장 강한 범주(92.9)가 되며 26.4점이라는 최대 상승폭을 기록했다. 반대로 사물이나 자원을 다루는 장면은 14.0점 상승에 그쳤다. 후자의 직접 답변 점수가 이미 74.0으로 높았기 때문인데, 이런 장면은 상식적인 행동 유도성만으로도 상당 부분 맞힐 수 있다. 범주 간 격차는 S1에서 7.5점이었다가 S6에서 4.9점으로 좁아졌고, 네 범주 모두 88.0 이상으로 올라섰다. 숨은 심리 변수가 결정을 지배하는 곳에서 정확히 이득이 가장 크다는 것이 확인된 셈이다.

병목은 상태 파싱이 아니라 전이 시뮬레이션이었다

논문에서 가장 실용적인 부분은 파이프라인 한 단계만 정답으로 바꿔치기하는 오라클 개입 4종(O1 상태, O2 관측, O3 행동, O4 전이)이다. 한 단계만 정답 주석을 넣고 나머지는 예측값 그대로 두면, 그 단계가 얼마나 오차를 만들고 있었는지가 드러난다. gpt-5.6-sol 기준으로 완전 예측 S6은 90.7이었고 사람 기준선까지 7.8점이 남아 있었다.

정답 상태를 넣으면 93.5로 2.8점, 정답 관측을 넣으면 92.4로 1.7점, 행동 분해를 건너뛰고 선택지 원문을 그대로 쓰면 91.4로 0.7점 오른다. 가장 큰 단일 이득은 정답 전이를 넣었을 때의 94.2, 즉 3.5점이었다. 상태를 잘 읽어내는 것보다 그 상태에서 다음 상태를 상상하는 일이 더 어렵다는 뜻이다.

이 순서는 다음 연구가 무엇부터 손대야 하는지를 정해준다. 프롬프트로 후속 상태를 시뮬레이션하는 방식이 지금 성능을 묶어두고 있다면, 전이를 데이터로 학습시키는 것이 자연스러운 다음 단계다. 다만 정신적 후속 상태는 부분적으로만 관측 가능하다는 어려움이 있다. 논문은 반사실 쌍, 사람의 근거 서술, 이후 실제 행동, 시간에 걸친 일관성 같은 간접 감독 경로를 제안하면서, 이 모든 것을 하나의 종단간 예측기로 뭉개는 방향에는 반대한다는 입장을 밝힌다. 물리와 정신을 분리 가능하게 유지하는 것 자체가 결합만으로도 6.4점의 가치가 있기 때문이다.

한국에서 대화형 서비스를 만드는 팀이 볼 지점

국내에서 상담, 커머스 응대, 교육 튜터처럼 사람과 여러 턴을 주고받는 서비스를 만드는 팀은 대개 요약과 의도 분류까지는 잘 굴린다. 막히는 곳은 그다음이다. 이 사용자가 지금 무엇을 오해하고 있는지, 무엇을 아직 모르는지를 시스템이 별도 상태로 들고 있지 않으면, 이미 지난 안내를 반복하거나 사용자가 모르는 사실을 전제로 말하는 응답이 나온다. 이 논문이 계량한 것이 정확히 그 실패다.

여기서 바로 가져다 쓸 수 있는 처방은 두 가지다. 첫째, 대화 상태에 사실뿐 아니라 상대의 믿음과 관측 범위를 따로 적는 칸을 만드는 것이다. 자유 서술 메모만으로도 자기일관성 샘플링을 넘어섰다는 결과가 이 조치의 비용 대비 효과를 보여준다. 둘째, 후보 응답을 고를 때 상대의 마음이 어떻게 바뀌는지를 함께 시뮬레이션하는 것이다. 다만 Mentis는 샘플 하나에 LLM 호출 12회, 4만 8,000토큰 규모를 쓴다. 실시간 대화에 그대로 얹을 구조는 아니고, 지연에 여유가 있는 구간부터 적용하는 편이 현실적이다.

448건이라는 크기와 아직 답하지 않은 질문

Menti-Bench는 텍스트 320건, 이미지 100건, 소리 있는 영상 28건으로 구성된다. 영상 28건은 통계적 주장을 세우기에 작은 표본이며, 논문도 절대 델타는 방향성으로만 취급한다고 명시한다. 오답 선택지는 장면에서 추론 가능한 제약(인물의 믿음이나 지각 범위, 사물의 상태, 합의, 규범, 타이밍) 중 최소 하나씩을 위반하도록 강화했고, 중간 단계 정답 주석은 배포하지 않아 오라클 정보로 우회할 수 없게 했다. 코드는 MIT, 데이터는 CC BY-NC 4.0이다.

숫자를 볼 때 유의할 지점도 있다. 모든 실행은 중간 추론 강도와 일괄 비교 순위 채점이라는 하나의 고정된 운영점을 공유한다. 다른 운영점에서 서열이 유지되는지는 이 실험의 범위 밖이다. 오라클 실험은 gpt-5.6-sol 한 모델에서만 돌렸으므로 병목의 위치가 모든 모델에서 같은지도 확인되지 않았다. Mentis는 OpenAI 호환 엔드포인트를 쓰는 학습 없는 베이스라인이라, 여기서 나온 격차가 학습된 시스템에서도 유지될지는 별개 문제다.

논문 스스로 남기는 문제 제기가 가장 흥미롭다. 정답 중간값을 모두 넣은 완전 MWM은 97.0, 사람은 98.5, 가장 강한 예측 구성은 90.7이다. 점수가 천장 쪽으로 눌리기 시작하면 결과 점수 하나로는 시스템을 구분할 수 없게 된다. 잘못된 상태 위에서 우연히 맞는 답을 낸 시스템은 입력이 조금만 달라져도 무너지지만, 정확도 표에서는 옳은 시스템과 구별되지 않는다. 논문이 과정 수준 정답과 심판 스위트를 함께 만든 이유가 여기 있고, 과정의 충실성을 진단 도구가 아니라 학습 목표로 삼자는 제안으로 이어진다. 마음을 시뮬레이션하는 모델을 평가하는 일에서는 무엇을 맞혔는지보다 왜 맞혔는지를 세는 쪽이 먼저라는 뜻이다.

출처: Hao Fei, Yiran Zhao, 'Mental World Modeling'(arXiv:2607.27201, 2026년 7월 29일) 및 GitHub mental-world/Mentis 저장소 기반 ASAP 정리.