제이코비안 추측이 87년 만에 거짓으로 판명됐다. 앤트로픽 소속 수학자 레벤트 알포게(Levent Alpöge)가 2026년 7월 22일 Claude Fable 5의 도움을 받아, 3차원 공간을 자기 자신으로 보내면서도 역함수가 없는 다항식 사상을 찾아냈다. 1939년 오토하인리히 켈러(Ott-Heinrich Keller)가 제기한 이 추측은 2보다 큰 모든 차원에서 반례가 존재하며, 원래의 2차원 경우만 미해결로 남았다. 알포게는 X에 "hello there the jacobian conjecture is false thanx"라는 한 줄로 결과를 공개했다.

87년간 참으로 여겨진 명제가 왜 무너졌나

제이코비안 추측은 다항식으로 이뤄진 함수의 야코비 행렬식이 0이 아닌 상수이면, 그 함수를 되돌리는 다항식 역함수가 반드시 존재한다는 명제다. 켈러가 1939년 처음 정식화한 이래 대수기하학에서 가장 유명한 미해결 문제 중 하나로 남아, 수많은 오증명이 나왔다가 철회되기를 반복했다. 알포게가 제시한 반례는 3차원 공간을 자기 자신으로 보내는 다항식 사상으로, 야코비 행렬식이 상수 -2로 일정한데도 서로 다른 두 점을 같은 점으로 보낸다. 함수가 이렇게 단사성을 잃으면 역함수가 존재할 수 없으므로, 추측은 즉시 거짓이 된다. 수학에서 추측을 무너뜨리는 데는 단 하나의 반례로 충분하고, 이번 반례는 X 게시물 한 개에 들어갈 만큼 짧았다.

핵심은 이 결과가 참을 증명한 것이 아니라 거짓을 증명했다는 점이다. 알포게는 추측이 옳다고 보이려 한 것이 아니라, 조건을 만족하면서도 결론을 위반하는 구체적 대상을 하나 구성했다. 반례는 검증도 명료하다. 제시된 다항식의 야코비 행렬식이 정말 상수인지, 그리고 두 입력이 정말 같은 출력으로 가는지는 손이나 컴퓨터 대수 시스템으로 직접 계산해 확인할 수 있다. 결과의 옳고 그름이 인간이 독립적으로 재현 가능한 계산에 달려 있다는 점이 이번 사건의 신뢰도를 떠받친다.

알포게는 누구이고 어떤 도구를 썼나

레벤트 알포게는 프린스턴대에서 박사 학위를 받고 하버드 특별연구원회(Society of Fellows) 멤버를 지낸 정수론 연구자로, 현재 앤트로픽에 소속돼 있다. 그는 2015년 학부생에게 주어지는 최고 수학 연구상인 모건상(Morgan Prize)을 받은 이력이 있다. 이번에 쓴 도구는 앤트로픽의 최신 프론티어 모델 Claude Fable 5로, 회사가 한때 공개하기에 너무 강력하다며 Claude Mythos라 불렀던 시스템의 공개판이다. 알포게는 X 게시물에서 문제를 권한 친구와 함께 이 모델에 감사를 표했다.

주의할 점은 알포게가 모델을 정확히 어떻게 프롬프트했고 그 출력이 어떤 모습이었는지는 아직 공개되지 않았다는 사실이다. 따라서 모델이 반례를 통째로 뱉었는지, 아니면 인간이 방향을 잡고 모델이 후보 계산을 도왔는지는 현재로선 단정할 수 없다. 확실한 것은 최종 반례가 인간이 검증 가능한 형태로 존재한다는 점뿐이며, 기여의 정확한 분담은 상세 공개를 기다려야 한다.

이번 성과가 이전 AI 수학 뉴스와 다른 지점

AI가 수학에 개입한 최근 사례들과 이번 결과는 성격이 다르다. 지난 사례들이 주로 '증명'을 돕는 쪽, 즉 참으로 보이는 명제의 논증을 구성하거나 탐색하는 데 초점을 맞췄다면, 이번은 '반증'을 위한 반례 탐색이었다. 반례 찾기는 방대한 대상 공간에서 조건은 맞지만 결론을 깨는 특이한 하나를 골라내는 작업으로, 사람의 직관이 좀처럼 닿지 않는 넓은 후보군을 훑는 데 유리하다. 언어 모델이 이런 탐색형 문제에서 인간 수학자의 손을 덜어줄 수 있다면, AI의 수학 기여는 정리 증명뿐 아니라 '반례 사냥'이라는 별도의 축으로도 넓어진다.

다만 이 차이를 과장하지 않는 절제가 필요하다. 반례 하나가 추측을 무너뜨리는 것은 맞지만, 그 반례가 왜 존재하며 어떤 구조에서 나오는지를 이해하는 일은 별개다. 무너진 추측은 대개 더 정교한 형태로 재정식화되고, 그때부터가 진짜 수학이 시작되는 지점이다. 이번 결과의 진짜 가치는 '추측이 틀렸다'는 결론 자체보다, 어떤 종류의 다항식 사상에서 단사성이 깨지는가라는 새로운 질문을 여는 데 있다.

숫자를 어떻게 읽어야 하나

이번 사건에서 인상적인 숫자와 신중히 읽을 숫자를 구분해야 한다. 인상적인 것은 '87년'이라는 시간과 '한 개'라는 반례의 개수다. 8년 넘게 최고 수준의 대수기하학자들이 결판을 못 낸 문제가, 검증 가능한 단 하나의 대상으로 정리됐다는 사실은 도구가 무엇이든 그 자체로 의미가 크다. 반면 신중히 읽어야 할 것은 'AI가 풀었다'는 요약이다. 반례를 최종적으로 옳다고 확정한 것은 모델이 아니라 인간의 계산이며, 문제를 고르고 조건을 좁혀 모델에 던진 것도 훈련된 수학자였다.

또 하나 오해하기 쉬운 지점은 차원이다. 이번 반례는 3차원 이상에서 추측을 무너뜨렸지만, 가장 오래 회자된 2차원 경우는 여전히 미해결로 남아 있다. 즉 '제이코비안 추측이 완전히 풀렸다'가 아니라 '고차원에서 거짓임이 밝혀졌고 2차원은 열려 있다'가 정확한 문장이다. 헤드라인이 뭉뚱그린 '해결'과 실제 수학적 상태 사이의 이 간극을, 숫자를 통해 정확히 붙잡아야 한다.

한국 연구·개발 현장에 남기는 함의

국내 수학·AI 연구자에게 이번 사례는 두 갈래의 실무 신호를 준다. 첫째, 프론티어 언어 모델은 이제 정답을 대신 내주는 기계가 아니라, 훈련된 전문가의 탐색 반경을 넓히는 협업 도구로 봐야 한다. 문제를 정식화하고 모델의 후보를 검증하는 인간의 역할이 사라지지 않으며, 오히려 그 검증 역량이 성과의 신뢰를 좌우한다. 둘째, 검증 가능성이 곧 안전장치라는 원칙이 다시 확인됐다. 반례처럼 결과를 인간이 독립적으로 재현할 수 있는 문제에서는 모델의 오류나 환각이 최종 결론을 오염시키기 어렵다.

이 원칙은 수학 밖으로도 확장된다. 코드, 정형 명세, 수치 계산처럼 산출물을 기계적으로 검증할 수 있는 업무에서 언어 모델의 기여는 상대적으로 안전하다. 반대로 검증 장치가 없는 서술형 결론에 모델을 쓸 때는 인간의 확인 부담이 그대로 남는다. 이번 성과가 매력적인 이유의 절반은 문제가 검증 가능한 형태였기 때문이며, 이 조건을 자기 업무에 어떻게 만들어낼지가 실무자의 몫이다.

열린 질문과 남은 한계

이번 결과에는 아직 닫히지 않은 질문이 여럿 남아 있다. 모델이 반례 도출에 정확히 얼마나 기여했는지, 인간의 개입 없이도 같은 결과에 도달할 수 있었는지는 상세 공개 전까지 답할 수 없다. 결과의 재현성 역시 커뮤니티의 검토를 거쳐야 하며, 원 게시물의 반례가 동료 수학자들의 독립 확인을 통과하는지가 다음 관문이다. 무엇보다 2차원 제이코비안 추측은 여전히 열려 있어, 이번 사건은 한 문제의 종결이 아니라 더 좁아진 문제의 시작에 가깝다. AI가 도구로서 수학의 지형을 바꾸고 있다는 큰 그림은 분명하되, 그 기여의 경계선을 정확히 긋는 일은 이제부터의 과제다.

출처: The Conversation "'hello there the jacobian conjecture is false thanx'"(2026년 7월 22일), Fortune·Fast Company·The Next Web 보도(레벤트 알포게가 Claude Fable 5의 도움으로 1939년 켈러의 제이코비안 추측을 3차원 반례로 반증, 야코비 행렬식 상수 -2의 비가역 다항식 사상, 2차원 경우는 미해결) 기반 ASAP 정리.