27B 모델이 논문 재현에서 클로드 오푸스 4.8을 앞섰다: Replica 310개 과제와 Faraday

Inherent Labs가 2026년 8월 13일 arXiv에 올린 논문 2608.13331은 27B 파라미터 모델 Faraday가 논문 그림 재현 과제에서 클로드 오푸스 4.8과 GPT-5.5를 앞섰다고 보고했다. 벤치마크 Replica는 1990년부터 2026년까지의 머신러닝 및 AI 활용 과학 논문 100편에서 뽑은 그림 재현 과제 310개로 구성되며, 학습용 242개와 시험용 68개로 나뉜다. Faraday는 분포 내 과제의 73퍼센트, 분포 밖 과제의 60퍼센트에서 두 기준 모델을 모두 앞섰고 시험 분할 평균으로는 클로드 대비 6퍼센트, Codex 대비 8퍼센트 높았다. ASAP은 논문 본문과 Inherent Labs 공식 리서치 페이지를 1차 출처로 이 결과가 무엇을 측정했고 무엇을 측정하지 않았는지를 정리한다.

재현 과제를 벤치마크로 바꾼 방식

Replica는 논문의 그림 하나를 원본 플롯을 보지 못한 상태에서 다시 만들어 내라고 요구하는 과제 310개의 모음이다. 출처는 머신러닝과 AI 활용 과학 분야의 논문 100편이며 발표 연도는 1990년부터 2026년까지 걸쳐 있다. 과제는 학습용 242개와 시험용 68개로 나뉘고, 시험 분할에는 학습에서 다루지 않은 영역이 별도로 들어간다.

채점은 루브릭 기반 자동 평가로 이뤄진다. 각 기준 항목마다 0에서 1 사이의 연속 점수를 매기고 항목별 점수를 평균해 한 번의 실행에 대한 전체 점수를 낸다. 저자들은 이 심판이 사람 전문가의 판단과 얼마나 맞는지를 켄달 타우로 측정했고, 루브릭 심판이 0.19로 기준 심판의 0.15보다 사람에 더 가까웠다고 보고한다. 잡음 측면에서는 기준 심판 표본 8개를 모아야 루브릭 심판 표본 3개 수준의 잡음에 도달했다.

실행 예산도 벤치마크의 일부다. 과제 하나에 주어지는 자원은 60분의 시간 제한과 H200 GPU를 7분의 1로 자른 MIG 슬라이스 한 개다. 논문 전체는 47쪽에 그림 12개 분량이며 저자는 Damon Falck, Samer Sabri, Anja Surina, Thom Foster, Anya Sims, Sam Devlin, Dylan Rogers, Tantum Collins, Kaloyan Aleksiev, Louis Kirsch, Edward Hughes 11명이다.

27B가 어떻게 프런티어 모델을 상대했나

Faraday는 Qwen3.6-27B를 출발점으로 삼아 변형 GRPO로 후학습한 27B 파라미터 에이전트이며, 미세조정은 랭크 128과 알파 128의 LoRA로 이뤄졌다. 즉 전체 가중치를 다시 학습시킨 것이 아니라 어댑터만 붙여 장기 실행 강화학습을 돌린 구성이다.

비교 조건은 논문이 명시적으로 밝혀 놓았다. 클로드 오푸스 4.8은 클로드 코드 하네스에서, GPT-5.5는 Codex 하네스에서 각각 사고 노력을 최고 등급으로 올려 실행했다. GLM-5.2 기준선은 TerminalBench에서 가장 좋은 하네스로 보고된 클로드 코드에서 최대 사고 노력으로 돌렸다. Faraday 역시 자신이 도구로 쓰는 Codex의 사고 노력을 최고 등급에 고정해 공정성을 맞췄다고 저자들은 설명한다. 논문은 클로드 오푸스 4.8을 가장 강한 기준선으로 지목한다.

결과는 세 개의 숫자로 요약된다. 분포 내에서 Faraday는 클로드와 Codex를 모두 앞선 과제가 73퍼센트였고, 분포 밖에서는 60퍼센트였다. 시험 분할 평균 점수로는 클로드보다 6퍼센트, Codex보다 8퍼센트 높았다.

이 승리가 실제로 증명하는 것과 아닌 것

Faraday가 이겼다는 문장에서 주어를 정확히 잡아야 한다. Faraday는 코딩 에이전트를 도구로 호출하는 27B 모델이고, 그 도구 안에서 돌아가는 것은 Codex다. 다시 말해 이 실험이 비교한 것은 27B 가중치와 프런티어 가중치가 아니라, 코딩 에이전트를 직접 쓰는 구성과 코딩 에이전트를 지휘하는 상위 계층을 얹은 구성이다.

이 구분을 놓치면 결론이 과장된다. 27B가 오푸스 4.8보다 똑똑하다는 뜻이 아니라, 재현이라는 특정한 장기 과제에서는 무엇을 시도하고 무엇을 버릴지 판단하는 얇은 계층이 모델 크기보다 큰 차이를 만들었다는 뜻에 가깝다. 저자들이 Faraday의 기여를 과학적 직관이라는 층으로 표현한 것도 같은 지점을 가리킨다.

같은 이유로 이 결과는 크기 경쟁보다 구조 경쟁 쪽 근거로 읽히는 편이 정확하다. 6퍼센트와 8퍼센트라는 개선 폭은 프런티어 모델을 대체할 수준의 격차는 아니다. 다만 60분과 H200의 7분의 1이라는 예산 안에서 나온 값이라는 점이 중요하다. 같은 예산에서 상위 계층 하나를 학습시켜 얻은 차이라면, 그 계층을 학습시키는 비용 대비 효과는 파라미터를 늘리는 쪽보다 유리할 수 있다.

그림을 다시 그린 것이 재현인가

Replica의 설계에는 저자들 스스로 밝힌 대리 지표 문제가 있다. 논문은 그림을 완벽하게 재현하는 것이 재현의 성공과 같지 않다고 명시한다. 원본 플롯과 같은 모양의 그래프가 나왔다고 해서 그 그래프를 만든 절차가 원 논문의 절차와 같다는 보장은 없기 때문이다.

이 한계는 방향이 양쪽으로 열려 있다. 한쪽에는 잘못된 절차로 우연히 비슷한 그림을 만든 경우가 있고, 다른 쪽에는 절차는 옳았는데 그림이 어긋난 경우가 있다. 저자들은 후자에 해당하는 사례를 직접 보고한다. 원 논문의 결과가 엄밀하게 얻어졌다고 확신하는 경우에도 Faraday가 실패한 사례가 여럿 있었다는 것이다.

여기에 심판의 정확도 문제가 겹친다. 루브릭 심판이 기준 심판보다 사람에 가까웠다는 것은 상대 비교이며, 켄달 타우 0.19라는 절대값 자체는 사람 전문가의 순위와 완전히 일치하는 수준과는 거리가 있다. 자동 채점이 붙은 벤치마크에서 모델 간 격차가 6에서 8퍼센트라면, 그 격차의 일부가 심판의 잡음 범위 안에 있을 가능성을 배제하기 어렵다. 저자들이 표본 수를 늘려 잡음을 줄이는 방식을 함께 보고한 것도 이 지점을 의식한 설계로 보인다.

재현을 학습 신호로 삼는다는 발상

재현 과제가 강화학습의 보상으로 쓸모 있는 이유는 정답이 이미 논문 안에 존재하기 때문이다. 원본 그림은 사람이 새로 라벨링할 필요 없이 그대로 채점 기준이 되고, 논문의 수가 곧 과제의 수를 결정한다. 100편에서 310개 과제가 나왔다는 비율은 이 방식이 규모를 늘리기 쉬운 구조라는 점을 보여준다.

이 설계가 연구 자동화 논의에서 갖는 위치도 분명하다. 새로운 발견을 시키는 일은 채점 기준을 만들기 어렵지만, 이미 발표된 결과를 다시 만들어 내는 일은 채점 기준이 자동으로 따라온다. 발견을 목표로 하는 시스템을 만들기 전에 재현을 먼저 학습시킨다는 순서는 보상 설계 관점에서 합리적인 선택이다.

동시에 이 순서에는 구조적 상한도 따라붙는다. 재현으로 학습한 능력이 새로운 문제로 얼마나 옮겨 가는지는 별개의 질문이며, 분포 내 73퍼센트가 분포 밖에서 60퍼센트로 내려간 것은 그 이전 가능성이 무한하지 않다는 첫 번째 신호로 읽힌다. 1990년부터 2026년까지를 포괄한 논문 선정은 시대별 편향을 줄이려는 시도로 보이지만, 시험 분할이 68개라는 규모에서 나온 60퍼센트라는 값이 얼마나 안정적인지는 추가 검증이 필요하다.

국내 연구팀이 여기서 가져갈 것

국내 대학과 기업 연구소 입장에서 이 논문의 실용적 가치는 Faraday 자체보다 Replica의 구성 방식에 있다. 자기 분야의 논문에서 그림 재현 과제를 뽑아 자체 평가 세트를 만드는 절차는 특별한 인프라를 요구하지 않으며, 채점 기준이 논문 안에 이미 들어 있다는 성질도 그대로 유지된다.

예산 조건도 국내 여건에서 현실적이다. 과제당 60분과 H200의 7분의 1 슬라이스라는 설정은 GPU 한 장으로 여러 과제를 병렬로 돌릴 수 있다는 뜻이다. 프런티어 모델 API를 대량으로 호출하는 방식과 비교하면 반복 실험의 단가가 크게 다르다.

다만 그대로 복제하기 전에 확인할 항목이 있다. Faraday의 성능은 Qwen3.6-27B라는 특정 베이스 모델과 Codex라는 특정 도구 조합 위에서 측정됐다. 베이스 모델을 바꾸거나 도구를 다른 코딩 에이전트로 교체했을 때 같은 격차가 유지되는지는 논문이 답하지 않은 부분이며, 자체 실험에서 가장 먼저 확인해야 할 변수다.

다음에 확인해야 할 지점

논문이 남긴 가장 큰 공백은 독립 재현이다. Replica 과제와 채점 루브릭, 그리고 하네스 조합이 공개된 형태로 다른 팀 손에서 돌아갔을 때 73퍼센트와 60퍼센트가 어느 정도 범위로 흔들리는지가 첫 번째 검증 대상이다. 에이전트 벤치마크는 하네스에 따라 점수가 크게 움직이는 지표이고, 이 실험 자체가 서로 다른 하네스를 나란히 놓은 구조이기 때문에 더욱 그렇다.

두 번째는 실패 사례의 분류다. 저자들이 언급한 대로 원 논문이 엄밀했는데도 재현이 실패한 사례가 있다면, 그 실패가 모델의 한계인지 과제 설계의 한계인지를 나누는 작업이 다음 판본의 정확도를 좌우한다. 재현 실패를 원 논문의 문제로 해석하는 방향으로 이 벤치마크가 쓰이기 시작하면, 그 분류가 되기 전까지는 위험한 사용이 된다.

출처: Damon Falck 외, 'Training AI Scientists to Replicate Research'(arXiv:2608.13331, 2026년 8월 13일) 및 Inherent Labs 리서치 페이지(2026년 8월 14일) 기반 ASAP 정리.