GAMUT은 긴 글 생성의 사실적 완전성을 재는 벤치마크로, 2026년 7월 21일 arXiv에 공개됐다(arXiv:2607.19322). 연구진은 웨어러블 기기로 찍은 실제 이미지에 근거한 1,813개 질문을 10개 도메인에 걸쳐 구축하고, 각 질문에 전문 주석자가 검증한 증거 기반 루브릭을 붙였다. 프론티어 및 공개 가중치 모델 14종을 평가한 결과 최고점은 Gemini 3.1 Pro의 58.7%에 그쳤다. ASAP은 arXiv 원문을 1차 출처로 이 벤치마크가 기존 사실성 평가와 무엇이 다른지 정리한다.

정밀도만 재던 사실성 평가에 빠져 있던 절반

기존 사실성 평가는 모델이 말한 주장이 맞는지, 즉 정밀도에 집중해 왔다. 논문이 지목한 지배적 방식은 분해(decompose), 검색(search), 검증(verify)으로 이어지는 파이프라인으로, 틀린 주장을 잡아내는 데는 효과적이다. 문제는 이 파이프라인이 응답에 담겨야 할 정보가 전부 담겼는지에 대해서는 거의 아무 말도 하지 못한다는 점이다. 연구진은 이 빠진 축을 사실적 완전성이라 부르고, 이를 사실성의 나머지 절반으로 규정한다.

완전성 측정이 더 어려운 이유는 논문이 분명하게 제시한다. 완전한 답이 담아야 할 사실의 전체 집합을 열거해야 하는데, 그 사실들이 평평한 목록을 이루는 경우가 드물기 때문이다. 어떤 사실은 커버리지가 관건인 열린 집합을 이루고, 어떤 사실은 순서가 있는 절차이며, 또 어떤 사실은 서로 관계로 얽혀 있다. 독립적인 참거짓 검사를 나열하는 방식으로는 이런 구조를 담아내지 못한다. 실무에서 모델의 답변이 틀린 말은 하나도 없는데 쓸모없게 느껴지는 경우가 있다면, 그 실패는 정밀도가 아니라 완전성 축에서 일어난 것이다. 기존 평가 체계가 이 실패를 잡아내지 못했다는 점이 이 논문의 출발점이다.

메타 루브릭을 체크리스트로 컴파일한다는 발상

연구진이 제안한 2단계 메타 루브릭 프레임워크는 채점 구조를 두 층으로 나눈다. 위층에는 구조화된 메타 루브릭이 있어 필요한 내용의 조직과 중요도를 담고, 이것이 기계적으로 이진 체크리스트로 컴파일돼 LLM 심판이 안정적으로 채점할 수 있는 평면 항목들이 된다.

이 설계에서 눈여겨볼 단어는 컴파일이다. 프로그래밍 언어에서 고수준 코드를 기계어로 옮기듯, 사람이 이해하기 좋은 구조적 채점 기준을 기계가 채점하기 좋은 형태로 자동 변환한다. 두 요구를 동시에 만족시키려다 실패하는 대신 층을 나눈 선택이며, 이 분리 덕분에 중요도나 순서 같은 구조 정보를 잃지 않으면서도 채점은 단순 이진 판정으로 내려온다. 논문이 결과를 심판 모델 선택에 강건하다고 보고한 근거도 여기에 있다. 심판이 판단해야 할 단위가 충분히 잘게 쪼개져 있으면, 어떤 모델을 심판으로 쓰든 결론이 크게 흔들리지 않는다. 평가 방법론에서 되풀이되는 LLM 심판의 신뢰도 논쟁을 정면으로 반박하는 대신 문제를 우회한 접근이다.

웨어러블 사진 1,813문항이라는 낯선 선택

GAMUT의 질문 1,813개는 실제 웨어러블 기기 이미지에 근거해 10개 도메인에 걸쳐 만들어졌다. 이름 자체가 Grounded Assessment of Multimodal Factuality의 약자로, 근거성과 멀티모달을 앞세운다. 연구진은 프레임워크가 모달리티에 구애받지 않는다는 점을 들어 텍스트 전용 변형도 함께 공개했다.

웨어러블 이미지를 근거로 삼은 선택은 이 벤치마크의 성격을 규정한다. 웹 문서를 근거로 쓰면 모델이 학습 과정에서 이미 본 텍스트를 재생할 위험이 있지만, 착용 기기로 찍은 장면은 그런 지름길을 허용하지 않는다. 눈앞의 장면을 두고 무엇을 빠짐없이 말해야 하는가라는 질문은 검색으로 우회하기 어렵고, 답의 완전성이 곧 장면 이해의 깊이가 된다. 동시에 이 선택은 저자 구성과 함께 이 작업이 어디를 향하는지도 드러낸다. 웨어러블 기기에서 사용자가 보는 것을 모델이 설명하는 상황은 곧 스마트 안경 형태의 비서가 마주할 실사용 조건이며, 그 조건에서 빠뜨린 정보는 틀린 정보만큼 치명적이다.

최고점 58.7%를 어떻게 읽을까

프론티어 및 공개 가중치 모델 14종 중 가장 높은 점수는 Gemini 3.1 Pro의 58.7%였다. 연구진은 이 벤치마크를 진정으로 어려우면서(genuinely challenging) 변별력이 높다(highly discriminative)고 평가한다.

58.7%라는 숫자에서 인상적인 부분과 신중히 볼 부분을 갈라야 한다. 인상적인 것은 상단이 60%에 못 미친다는 사실이다. 여러 벤치마크가 공개 몇 달 만에 90%대로 포화돼 변별력을 잃는 흐름에서, 최고 모델조차 절반을 겨우 넘긴 척도는 당분간 모델 간 차이를 드러내는 자로 쓸 수 있다. 반대로 신중히 읽어야 할 것은 이 점수를 정확도로 오해하는 해석이다. 58.7%는 답이 맞은 비율이 아니라 응답이 담아야 할 항목 가운데 담긴 비율에 가깝고, 따라서 나머지 41.3%는 틀린 말이 아니라 하지 않은 말이다. 점수가 낮다는 사실이 모델이 자주 틀린다는 뜻으로 번역되지 않는다는 점이 이 벤치마크를 인용할 때 가장 쉽게 어긋나는 지점이다.

한국어 서비스에 옮길 때 생기는 문제

국내 팀이 이 프레임워크를 자사 평가에 도입하려 할 때 먼저 부딪히는 벽은 루브릭 제작 비용이다. GAMUT은 1,813개 질문 각각에 전문 주석자가 검증한 증거 기반 루브릭을 붙였고, 이 작업은 자동화로 대체되지 않는 사람의 노동이다.

그럼에도 이 방법론의 이전 가치는 벤치마크 자체보다 크다. 완전성이라는 축은 국내에서 흔한 요약, 상담, 문서 검토 서비스에서 특히 중요한데, 이런 업무의 실패는 대개 틀린 말이 아니라 빠뜨린 말에서 온다. 계약서 검토가 조항 하나를 누락하거나 상담 답변이 예외 조건을 빼먹는 실패는 정밀도 기반 평가로는 잡히지 않는다. 2단계 구조의 실용적 함의는 전면 도입이 아니라 부분 차용에 있다. 자사 업무에서 완전한 답이 갖춰야 할 항목을 중요도와 함께 구조화한 뒤 이를 이진 체크리스트로 펼치는 절차만 가져와도, 기존 평가가 놓치던 누락 실패를 측정 가능한 형태로 바꿀 수 있다.

이 벤치마크가 답하지 않는 것

논문 초록 단계에서 확인되는 범위는 프레임워크의 구조, 데이터 규모, 상단 점수까지이며, 모델 14종의 개별 점수 분포와 도메인별 편차는 본문을 통해 따로 확인해야 한다. 완전성 루브릭이 필연적으로 안고 가는 질문도 남는다. 완전한 답에 무엇이 들어가야 하는지를 결정한 주체는 결국 사람이므로, 루브릭 작성자의 판단이 곧 정답의 경계가 된다. 무엇을 말하지 않았는지를 재는 척도가 늘어난다는 것은 평가의 눈이 넓어졌다는 뜻이지만, 그 눈이 어디를 보도록 설계됐는지는 여전히 사람이 정한다.

출처: arXiv:2607.19322 "Two-Level Meta-Rubrics for Evaluating Open-Ended Generation: GAMUT, a Benchmark for Factual Completeness"(Xilun Chen, Zhaleh Feizollahi, Ross Goodwin, Seungwhan Moon, Scott Yih, Pinar Donmez, Babak Damavandi, Luna Dong, 2026년 7월 21일 제출) 기반 ASAP 정리.