허깅페이스가 ICML 2026 논문 2,226편을 19일 만에 재현했다: 심사된 논문의 23%에서 주장이 반증되거나 엇갈렸다

허깅페이스는 2026년 7월 15일부터 8월 2일까지 19일간 진행한 공개 재현 챌린지 결과를 8월 13일 공개하고, 참가자 1,221명이 ICML 2026 채택 논문 6,352편 가운데 2,226편을 시도해 주장 35,908건에 판정을 내렸다고 밝혔다. 심사된 논문의 51%인 1,103편은 최소 한 개 주장이 독립적으로 검증됐고, 23%인 496편은 최소 한 개 주장이 반증되거나 논쟁 상태가 됐다. 모든 주장을 검증받은 논문은 266편, 모든 주장이 반증된 논문은 49편이며, 팀마다 정반대 판정이 나온 논문이 242편이다. ASAP은 허깅페이스 공식 결과 보고에서 확인되는 수치만으로 이 챌린지가 실제로 측정한 것과 그 숫자를 인용할 때 빠지기 쉬운 함정을 정리한다.

19일 동안 로그북 6,816건이 올라왔다

허깅페이스가 공개한 집계에서 이번 챌린지 참가자는 1,221명, 공개된 재현 로그북은 6,816건, 시도된 논문은 2,226편으로 학회 전체의 34%에 해당한다. 판정이 내려진 개별 주장은 35,908건이며 모든 판정은 챌린지 종료 시점에 공개 데이터셋으로 동결됐다. 실행된 허깅페이스 잡은 2,962건, 전체 에이전트 트레이스를 함께 공개한 데이터셋은 274건이다.

기간과 인원으로 나눠 보면 밀도가 드러난다. 로그북 6,816건을 19일로 나누면 하루 359건이고, 참가자 1인당 평균 5.6건이다. 논문 한 편당 판정된 주장은 평균 16.1건이며, 실험으로 확인된 주장은 3,978건으로 전체 판정의 11.1%다. 한 편의 논문을 통과 또는 실패로 부르는 대신 논문 안의 개별 주장을 단위로 쪼갠 설계가 이 숫자들의 전제다.

배경이 되는 학회 규모도 함께 봐야 한다. ICML 2026은 투고 23,918편 가운데 6,352편을 채택했고 채택률은 26.6%다. 허깅페이스는 투고 수가 전년의 약 두 배라고 적었다. 심사 인력이 그대로인 상태에서 투고가 두 배로 늘어난 학회에서, 채택 뒤 검증을 학회 밖 커뮤니티가 떠맡는 구성이 이번 챌린지의 위치다.

판정은 참가자 자신이 아니라 오픈웨이트 심판 모델이 내렸다

허깅페이스는 자동 로그북 심판을 두어 오픈웨이트 모델 GLM-5.2가 모든 로그북을 다시 읽고 주장별 판정을 내리게 했으며, 라벨은 검증(verified), 반증(falsified), 축소 규모 증거(toy), 미결(inconclusive) 네 가지다. 참가자의 자기 평가는 신뢰하지 않는다고 명시했다. 참가자는 논문에서 핵심 주장을 뽑고 재현 실험을 돌린 뒤 결과를 Trackio 로그북으로 공개했으며, 이 로그북은 서술과 코드와 산출물을 담은 정적 허깅페이스 스페이스이고 전체 에이전트 트레이스를 함께 올릴 수 있다.

재현 실행에 쓰인 도구는 클로드 코드, Codex, Cursor, Pi, OpenResearch의 orx 같은 코딩 에이전트다. 참가자에게는 1인당 20달러의 컴퓨트 크레딧이 제공됐다. 논문 한 편을 다시 돌리는 데 필요한 인력과 시간이 사람 손으로만 이뤄지던 시기와 비교해 어느 수준까지 내려왔는지를 이 두 숫자가 가리킨다.

검증에 실패한 쪽의 구성도 라벨별로 갈린다. 축소 규모 증거만 확보된 논문이 502편, 결과가 확립되지 않은 논문이 280편이며 후자의 최다 원인은 아티팩트 부재다. 코드와 데이터가 공개되지 않아 시작조차 못 한 경우가 재현 실패의 상당 부분을 차지한다는 뜻이며, 이는 논문 주장의 참거짓과는 다른 층위의 문제다.

반증된 사례 네 건은 실패의 유형이 서로 다르다

허깅페이스가 대표 사례로 제시한 반증 네 건은 이론과 코드와 평가 설계 중 서로 다른 지점에서 어긋났다. 학습 보강 페이징의 최적 강건성을 다룬 논문은 H_k + O(1)의 강건성을 주장했으나 재현 팀은 증가 양상을 0.38 ln k로 측정했고 유의도는 9시그마였다. 실제 한계는 H_k + Θ(log k)라는 것이 재현 결과다.

어텐션의 순전파와 프랭크 울프 알고리즘을 연결한 논문은 정리 자체가 224번째, 3,800번째, 6,416번째 스텝에서 독립적으로 위배됐다. 반례는 정확한 유리수 연산으로 구성됐다. 자기 증류가 지속 학습을 가능하게 한다고 주장한 논문은 이론 전개에서 역방향 KL 발산을 다뤘으나 실제 코드는 순방향 KL을 썼고, 저자 구현으로도 4점포인트 개선을 재현하지 못했다.

트랜스포머에 세 개의 사영이 필요한지 물은 논문에서는 평가 대상 라벨 위치의 약 66%가 EOS 패딩 토큰이었다. 패딩을 제외하고 다시 계산하면 논문이 3.1%로 적은 품질 손실은 약 9.4%가 된다. 네 사례를 나란히 놓으면 문제는 조작이 아니라 이론과 구현의 불일치, 평가 집합의 오염, 스케일 의존성을 놓친 일반화에 있다. 어느 것도 논문을 읽는 것만으로는 드러나지 않고 코드를 돌려야 보인다.

23%를 논문 넷 중 하나가 틀렸다로 읽으면 안 된다

23%라는 비율의 분모는 학회 전체가 아니라 심사된 논문이며, 496편을 채택 논문 6,352편으로 나누면 7.8%다. 마찬가지로 전면 재현된 266편은 채택 논문의 4.2%에 해당한다. 시도되지 않은 논문이 3분의 2 가까이 남아 있는 상태에서 두 비율 중 어느 쪽도 학회 전체의 품질을 나타내는 값으로 쓸 수 없다.

496편의 내부 구성도 하나가 아니다. 모든 주장이 반증된 논문은 49편이고, 242편은 팀에 따라 정반대 판정이 나온 사례다. 상반된 판정은 논문이 틀렸다는 결론이 아니라 아직 결론이 나지 않았다는 표시에 가깝다. 재현 조건이 달랐거나 스케일이 달랐거나 두 팀 중 한쪽이 틀렸을 가능성이 모두 열려 있고, 이번 집계는 그중 무엇인지까지 가르지 않는다. 반대편의 51%도 최소 한 개 주장이 검증됐다는 기준이므로 논문 전체가 성립한다는 뜻이 아니다.

표본이 무작위가 아니라는 점이 마지막 함정이다. 참가자는 재현할 논문을 스스로 골랐다. 코드와 데이터가 잘 갖춰져 시작하기 쉬운 논문과 결과가 유난히 좋아 눈에 띄는 논문 양쪽으로 선택이 쏠렸다면 검증 비율과 반증 비율이 동시에 실제보다 높게 나온다. 허깅페이스도 재현성은 이분법이 아니라 적대적 과정이라고 적었다. 숫자를 학회 전체로 확장하는 순간 이 문장의 취지가 사라진다.

새로운 것은 재현 시도가 아니라 재현의 단가다

재현 연구 자체는 새로운 활동이 아니지만, 2,226편을 19일 만에 훑는 규모는 1인당 20달러 크레딧과 코딩 에이전트라는 조건에서 처음 성립한다. 사람이 논문 한 편의 환경을 세우고 실험을 돌리던 시절의 단위 비용으로는 같은 기간에 같은 편수를 다룰 방법이 없었다. 이번 결과에서 가장 큰 변화는 특정 논문 넉 편이 반증됐다는 사실보다, 반증에 드는 비용이 며칠에서 몇 시간으로, 수백 달러에서 수십 달러로 내려왔다는 조건 쪽에 있다.

이 조건은 발표 이후의 시간표를 바꾼다. 논문이 공개되고 며칠 안에 수백 명이 각자의 환경에서 같은 주장을 돌려 보는 상태가 기본값이 되면, 검증은 학회 심사라는 한 번의 관문이 아니라 발표 이후에 계속되는 과정이 된다. 허깅페이스는 저자들이 결과에 우호적으로 반응했고 여러 건의 arXiv 수정이 진행 중이라고 적었다. 반증이 곧 제재가 아니라 수정으로 이어지는 경로가 실제로 작동했다는 기록이다.

허깅페이스는 동시에 사람이 여전히 필요하다고 명시했다. 에이전트만으로 실행하면 한계에 부딪히고, 스케일에 따라 달라지는 거동을 잘못 읽으며, 지각적 이미지 품질 평가처럼 당분간 사람에게 남는 판단이 있다는 것이다. 이 챌린지가 제시한 역할 배분은 사람이 환경을 세우고 질문을 정하며 에이전트가 실행을 맡는 구성이다. 재현 비용이 내려간 만큼 병목은 실행에서 질문 설계 쪽으로 옮겨 간다.

심판 모델을 누가 심판하는가

이번 집계의 모든 비율은 GLM-5.2 심판 모델이 내린 판정을 세어 만든 값이므로, 심판 모델의 오판율이 곧 집계 전체의 오차가 된다. 허깅페이스는 자기 평가를 배제하고 판정을 별도 모델에 맡겨 편향 하나를 제거했지만, 그 대가로 판정 품질이라는 새 변수를 들여왔다. 반증 496편 가운데 몇 건이 심판의 오독인지, 상반된 판정 242편 가운데 몇 건이 실험 차이가 아니라 판정 잡음인지는 공개된 집계만으로 가려지지 않는다.

검증 가능성은 남아 있다. 모든 로그북과 판정, 그리고 274건의 전체 에이전트 트레이스가 공개돼 있고 판정은 종료 시점에 동결된 공개 데이터셋 형태다. 심판 모델의 판정을 다시 심사하는 후속 작업이 같은 재료로 가능하다는 뜻이며, 이 구조가 이번 챌린지에서 결과 수치보다 오래 남을 부분이다.

실무에서 이 결과를 쓰는 방법은 비교적 분명하다. 논문의 벤치마크 수치를 도입 근거로 삼는 팀이라면, 채택 사실이 검증을 뜻하지 않는다는 전제 아래 인용하려는 논문에 대응하는 로그북이 있는지부터 확인하는 절차가 추가된다. 특히 이론 전개와 공개 코드가 서로 다른 것을 구현한 사례와 평가 집합에 패딩이 섞인 사례는 논문만 읽어서는 걸러지지 않으며, 두 유형 모두 이번 반증 사례에 실제로 등장했다.

출처: 허깅페이스 공식 블로그 ICML 2026 오픈 리프로덕션 결과 보고(2026년 8월 13일)와 공개 판정 데이터셋 기반 ASAP 정리