클로드가 페르마의 마지막 정리를 11일 만에 형식화했다: 바뀐 것은 새 수학이 아니라 검증이다

앤트로픽은 2026년 9월 4일 클로드가 페르마의 마지막 정리의 첫 종단간 컴퓨터 검증 증명을 11일 만에 완성했다고 공식 리서치 글에서 밝혔다. 클로드는 그 과정에서 30,300개의 정리를 기계 검증 가능한 형태로 증명했고 그중 29,500개를 최종 증명에 사용했으며, 결과물은 린(Lean) 코드 1,300만 줄로 커뮤니티 표준 라이브러리인 Mathlib 전체보다 5배 이상 크다. 소비된 출력 토큰은 약 60억이고, 사용된 모델은 클로드 페이블 5.1에 대략 상응하는 범용 내부 연구 모델이다. 앤트로픽 자신이 이번 성과에서 새로운 것은 수학이 아니라 검증이라고 못 박았다는 점이 이 발표를 읽는 가장 중요한 단서다. ASAP은 앤트로픽 공식 리서치 글의 수치만으로 무엇이 실제로 증명됐고 무엇이 증명되지 않았는지를 갈라 본다.

11일 안에 정리 30,300개와 토큰 60억이 들어갔다

이번 작업의 규모는 네 개의 수치로 요약된다. 앤트로픽에 따르면 클로드는 11일 동안 대체로 자율적으로 작동하며 페르마의 마지막 정리의 첫 종단간 컴퓨터 검증 증명을 만들어 냈다. 그 경로에서 기계 검증이 가능한 정리 30,300개를 증명했고, 최종 증명에 실제로 쓰인 것은 29,500개다. 만들어진 린 코드는 1,300만 줄이며, 이는 Mathlib 크기의 5배를 넘는다. 연산 측면에서는 범용 내부 연구 모델이 출력 토큰 약 60억 개를 소비했다.

비교 대상이 되는 인간 쪽 숫자도 함께 제시됐다. 1995년 앤드루 와일스가 내놓은 최초 증명은 129쪽이었고 검증에만 몇 달의 고된 작업이 필요했다. 이번 형식화가 따른 것은 그 원본이 아니라 다르몽과 다이아몬드와 테일러가 정리한 와일스 증명의 단순화 판본이다. 형식화 프로젝트 자체는 2024년 임페리얼 칼리지 런던의 케빈 버저드 주도로 시작된 다년간의 커뮤니티 작업이며, 수학계가 프로젝트 초기 단계를 서술하는 데 써 온 블루프린트 문서만 86쪽에 이른다.

검증 조건도 명시됐다. 완성된 증명은 린이 직접 검사했고, 린의 표준 공리 3개만을 사용한다. 그리고 비교기가 이 정리의 서술이 Mathlib에 실린 페르마의 마지막 정리 서술과 일치함을 확인했다. 형식 증명에서 이 마지막 절차는 형식적이지 않다. 엉뚱한 명제를 완벽하게 증명하고도 원래 정리를 증명했다고 착각하는 실패가 자동 형식화의 고전적 함정이기 때문이다.

사람의 개입 수준도 기록됐다. 앤트로픽 연구자이자 컬럼비아대 소속인 티안이 펑이 이따금 준 상위 수준 지시가 수학적 입력의 전부였고, 그 지시는 "스킴으로서의 야코비안이 우선순위가 높아 보인다"거나 "마주르 정리를 빨리 끝내라" 같은 방향 제시였다. 정리를 어떻게 증명할지가 아니라 무엇을 먼저 증명할지에 대한 개입이었다는 뜻이다.

처음 시도는 실패했고, 그 실패가 최종 증명의 7%로 남았다

이번 발표에서 기술적으로 가장 유용한 대목은 성공 수치가 아니라 실패 기록이다. 앤트로픽은 클로드의 초기 시도 여러 건이 실패했다고 적었다. 에이전트들은 초반에 어느 정도 성과를 냈지만 곧 프로젝트의 상태를 놓쳤고 서로 효과적으로 협업하기를 멈췄다. 그 실패한 작업물은 폐기되지 않고 최종 증명의 비보일러플레이트 줄 가운데 약 7%로 남았다.

전환점은 모델 교체가 아니었다. 앤트로픽이 지목한 전환점은 Prove2Me로 옮겨 간 시점이다. Prove2Me는 티안이 펑과 협업자들이 설계한 협업 플랫폼이며, 정리 서술들의 방향성 비순환 그래프(DAG)를 유지한다. 에이전트들은 이 그래프를 참조해 다음에 어떤 증명을 시도할지 정하고, 큰 목표에 도달하기 전에 어떤 중간 정리가 먼저 필요한지 판단한다. 앤트로픽은 이 구조가 기억 열화를 완화하고 여러 에이전트가 병렬로 일할 수 있게 했다고 설명한다.

이 대목을 다중 에이전트 시스템을 만드는 쪽에서 읽으면 결론이 분명해진다. 병목은 모델의 추론 능력이 아니라 공유 상태의 구조였다. 같은 모델이 같은 문제를 상대로 실패했다가 성공했으며, 그 사이에 바뀐 것은 에이전트들이 무엇을 하고 있는지가 어디에 어떻게 기록되는지였다. 자연어 대화나 로그 더미를 공유 기억으로 쓰면 에이전트 수가 늘어날수록 서로의 진행 상황을 재구성하는 비용이 커지고, 결국 각자 비슷한 시도를 되풀이한다. 반면 의존관계 그래프는 다음에 할 일을 계산 가능한 질의로 바꾼다. 어떤 노드가 아직 증명되지 않았고 그 노드의 선행 조건이 모두 충족됐는가라는 질문에는 답이 하나로 정해진다.

실패한 코드가 7%로 남았다는 사실도 그냥 흘릴 대목이 아니다. 구조가 없을 때 만들어진 결과물이 전부 쓰레기는 아니었다는 뜻이며, 문제는 생산 능력이 아니라 그 생산물을 서로가 다시 찾아 쓸 수 있게 놓아 두는 체계에 있었다는 해석을 뒷받침한다. 조율 구조가 생기자 이미 만들어져 있던 조각들까지 회수됐다.

1,300만 줄은 트로피가 아니라 부채에 가깝다

증명의 크기는 자랑거리로 읽히기 쉽지만 앤트로픽 본인의 서술은 그 반대에 가깝다. 앤트로픽은 Mathlib이 간결하고 잘 검토된 라이브러리인 반면 이번 증명은 필요한 것보다 훨씬 길 가능성이 높다고 직접 적었다. 정리 하나를 위해 만들어진 코드가 수학계가 수년에 걸쳐 쌓아 온 표준 라이브러리 전체의 5배라는 숫자는, 효율이 아니라 팽창을 가리키는 지표로 제시된 셈이다.

이 구분이 중요한 이유는 형식 증명의 가치가 어디에서 나오는지와 직결되기 때문이다. 형식 증명은 기계가 검사한다는 점에서 사람의 검토 없이도 참임이 보장된다. 즉 1,300만 줄을 사람이 읽지 않아도 결론의 정당성은 흔들리지 않는다. 그러나 형식 라이브러리의 또 다른 용도는 재사용이다. Mathlib이 가치를 갖는 이유는 그 안의 정리들이 다음 사람의 증명에 부품으로 들어가기 때문이며, 그러려면 사람이 찾을 수 있고 읽을 수 있고 이름이 붙어 있어야 한다. 기계가 11일 만에 뱉어낸 1,300만 줄이 그 조건을 얼마나 만족하는지는 이번 발표만으로 알 수 없다.

여기서 갈라지는 두 갈래를 구분해 둘 필요가 있다. 하나는 결과물로서의 증명이고 다른 하나는 자산으로서의 라이브러리다. 전자는 이미 완결됐다. 후자, 그러니까 이 1,300만 줄이 다음 정리를 증명하는 데 쓰일 수 있는 재료가 되는지는 별도의 정리 작업이 필요한 문제이며 앤트로픽도 그 부분을 열어 두었다. 자동 형식화가 보편화될 때 실제로 다뤄야 할 과제가 증명 생성이 아니라 생성된 증명의 정리와 압축 쪽으로 옮겨 갈 수 있다는 신호다.

앤트로픽이 새로운 수학이라고 쓰지 않은 이유

이번 발표에서 가장 조심스럽게 쓰인 문장은 성과의 범위를 제한하는 문장이다. 앤트로픽은 최근 리만 가설에 대한 AI 주도 작업이 새로운 수학을 만들어 냈던 것과 달리, 이번에 새로운 것은 검증이라고 명시했다. 계산기로 계산을 확인하듯 수학적 증명을 확인하는 일이 새롭다는 뜻이다. 페르마의 마지막 정리는 1995년에 이미 증명됐고, 클로드가 한 일은 그 증명을 기계가 검사할 수 있는 형태로 옮긴 것이다.

이 한정을 놓치면 발표 전체가 다른 뉴스로 둔갑한다. AI가 350년 난제를 풀었다는 문장과 AI가 30년 전에 풀린 증명을 기계 검증 가능한 형태로 11일 만에 옮겨 적었다는 문장은 전혀 다른 주장이다. 후자도 충분히 큰 성과다. 형식화는 지금까지 사람이 하기에 지나치게 노동집약적이어서 현대 수학 문헌 대부분이 형식화되지 않은 채 남아 있었기 때문이다.

주목할 것은 앤트로픽이 이 한정을 스스로 붙였다는 사실 자체다. 모델 발표문이 성과를 최대한 크게 보이게 만드는 것이 업계 관행에 가까운 상황에서, 발표 주체가 우리 결과는 발견이 아니라 검증이라고 먼저 선을 긋는 구성은 흔하지 않다. 이 절제가 신뢰의 근거로 작동한다는 점도 형식화라는 주제와 맞물린다. 검증 가능성을 다루는 글이 스스로의 주장 범위부터 검증 가능하게 좁혀 놓은 셈이다.

동시에 이 구분이 왜 앤트로픽에 유리한지도 볼 필요가 있다. 앤트로픽은 형식화를 AI가 만든 수학적 결과를 사람이 신뢰하게 되는 주요 경로로 설명하며, AI가 점점 더 많은 증명을 내놓을수록 그 결과를 평가하는 부담을 형식화가 덜어 줄 수 있다고 주장한다. 다시 말해 이번 결과는 AI 수학의 종착점이 아니라, AI가 대량 생산할 수학을 감당하기 위한 사전 정비 작업으로 배치돼 있다. 케빈 버저드도 이런 자동 형식화 기법이 현재 수학 자료의 오류를 찾아내고 심사자의 부담을 덜어 주는 새 도구로 이어질 것이라고 말했다.

소비자 구독으로 3일 만에 끝난 두 번째 실험

일반화 가능성에 대한 근거로 앤트로픽이 제시한 것은 규모가 훨씬 작은 두 번째 실험이다. 소비자 구독을 사용한 에이전트들이 오로지 Prove2Me를 통해서만 협업하며 비노그라도프의 세 소수 정리 형식화를 단 3일 만에 완료했다. 페르마의 마지막 정리에 비하면 난이도와 분량이 크게 낮은 정리이지만, 이 실험이 다루는 질문은 다르다.

이 두 번째 실험에서 빠진 것이 무엇인지를 보면 의도가 읽힌다. 내부 연구 모델도, 60억 토큰 규모의 예산도, 앤트로픽 전용 인프라도 없었다. 남은 것은 협업 구조 하나다. 앞 절에서 본 진단, 그러니까 병목이 모델이 아니라 공유 상태의 구조였다는 진단을 통제 실험에 가깝게 다시 확인한 배치다.

앤트로픽은 여기서 페르마의 마지막 정리의 자동 형식화가 지금 가능하다면 현대 수학 문헌 전체의 자동 형식화를 향해 큰 걸음을 뗀 것이라는 결론으로 넘어간다. 이 추론에는 검증되지 않은 도약이 하나 있다. 페르마의 마지막 정리는 86쪽 블루프린트라는 형태로 이미 사람이 분해해 둔 문제였다는 점이다. 무엇을 어떤 순서로 증명해야 하는지에 대한 지도가 없는 정리에서도 같은 방식이 통하는지는 이번 결과가 답하지 않는다. 수학 문헌 대부분에는 그런 블루프린트가 없다.

검사기가 있는 일에서만 재현되는 방법이다

한국의 AI 도입 팀이 이 발표에서 가져갈 것은 수학이 아니라 작업 설계다. 이번 결과가 성립한 조건은 세 가지이며, 셋 다 수학 바깥에서도 확인할 수 있는 조건이다. 첫째, 정답을 자동으로 판정하는 검사기가 있었다. 린 컴파일러가 통과시키면 맞고 아니면 틀리며, 여기에 사람의 판단이 끼어들지 않는다. 둘째, 문제가 독립적으로 검증되는 작은 단위로 쪼개져 있었다. 셋째, 그 단위들의 의존관계가 명시적으로 기록돼 있었다.

같은 조건이 갖춰지는 실무 영역은 생각보다 좁다. 타입 검사기와 테스트 스위트가 촘촘한 코드베이스, 스키마와 제약 조건이 명시된 데이터 변환, 정형 검증이 적용되는 하드웨어 설계 정도가 후보다. 반대로 판정 기준이 사람의 취향이나 사업 판단에 있는 일, 예를 들어 문서 작성이나 기획이나 고객 응대에서는 이번 방식이 그대로 옮겨 오지 않는다. 검사기가 없으면 에이전트를 60억 토큰만큼 돌려도 무엇이 맞았는지 알 수 없고, 실패한 시도의 7%를 회수하는 일도 불가능하다.

따라서 지금 시도해 볼 만한 순서는 모델 교체가 아니라 검사기 확보다. 자사 업무 가운데 기계가 참과 거짓을 판정할 수 있는 부분이 어디까지인지 먼저 그리고, 그 경계 안에서만 에이전트를 병렬로 붙이는 접근이다. 그다음이 의존관계를 어디에 적어 둘지에 대한 결정이다. 앤트로픽의 기록은 이 두 번째 결정이 성공과 실패를 갈랐다고 말하고 있으며, 그 도구는 대화 로그가 아니라 상태를 질의할 수 있는 구조여야 한다.

마지막으로 열린 질문 하나를 남겨 둘 필요가 있다. 이번 증명은 린이 검사했으므로 참이지만, 1,300만 줄 가운데 사람이 실제로 읽은 부분은 극히 일부다. 결론의 정당성이 기계 검사에 실려 있는 이상 이것은 논리적 문제가 아니다. 그러나 형식화된 코퍼스가 이 속도로 늘어날 때 그 안에서 무엇을 다시 꺼내 쓸 수 있는지를 사람이 알아보지 못하는 상황은 실질적 문제가 된다. 검증 속도가 먼저 열렸고, 그 뒤를 감당할 정리와 색인은 아직 열리지 않았다.

출처: 앤트로픽 공식 리서치 글 'Formalizing Fermat's Last Theorem'(2026년 9월 4일)의 수치와 서술 기반 ASAP 정리