ASAPAGI Soon As Possible · 다가올 AGI를 가장 깊게 읽습니다
Article

앤트로픽 클로드 미토스, 암호 알고리즘 자체의 수학적 결함을 찾아냈다: HAWK 키 강도 절반, 7라운드 AES 200~800배 가속

2026-07-29 · 7분 읽기

앤트로픽(Anthropic)은 2026년 7월 28일 클로드 미토스 프리뷰(Claude Mythos Preview)가 두 개의 암호 알고리즘에서 새로운 공격법을 찾아냈다고 발표했다. 첫째는 NIST 포스트양자 서명 공모 3라운드 후보인 HAWK로, 격자에서 자명하지 않은 자기동형사상(nontrivial automorphism)을 찾아내 HAWK-256의 전체 키 복구 비용을 기존 예상 2^64에서 2^38로 끌어내렸다. 둘째는 10라운드 중 7라운드로 축소한 AES-128로, 모델이 스스로 뫼비우스 브리지(Möbius Bridge)라 이름 붙인 지문 알고리즘이 기존 최선의 중간일치 공격을 200~800배 빠르게 만들었다. 두 결과 모두 현재 가동 중인 시스템에는 영향이 없다. ASAP은 앤트로픽 공식 연구 발표문을 1차 출처로 무엇이 확인됐고 무엇이 남았는지 정리한다.

구현 버그가 아니라 알고리즘의 수학을 깼다

이번 발표의 성격을 가르는 문장은 발표문 도입부에 있다. 앤트로픽은 클로드 미토스 프리뷰 공개 당시 여러 주요 암호 라이브러리에서 취약점을 찾아냈지만, 그 취약점들은 알고리즘을 코드로 옮기는 과정에서 생긴 구현 오류였다고 밝혔다. 이번에는 다르다. 발표문은 클로드가 "알고리즘 자체의 수학적 결함"을 찾을 수 있음을 확인했다고 적었다.

이 구분은 실무에서 대응 방식을 완전히 바꾼다. 구현 버그는 패치로 막는다. 알고리즘의 수학적 결함은 패치할 대상이 코드가 아니라 규격이며, 표준을 다시 쓰거나 파라미터를 키우거나 스킴을 폐기해야 한다. HAWK의 경우 발표문은 같은 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 하고, 그렇게 하면 HAWK를 매력적인 포스트양자 서명 후보로 만들던 이유 상당수가 사라진다고 적었다. 성능이 곧 존재 이유였던 후보에게 파라미터 확대는 사실상 경쟁력 상실과 같다.

HAWK: 2년의 전문가 검토를 통과한 후보가 60시간에 밀렸다

HAWK는 2022년 미국 국립표준기술연구소(NIST)가 추가 디지털 서명 공모를 내면서 시작된 절차의 3라운드 잔존 후보다. 안전성은 격자 동형 문제(Lattice Isomorphism Problem)의 어려움에 기댄다. 미토스가 찾은 것은 HAWK가 쓰는 격자 안에 존재하는 자명하지 않은 자기동형사상이다. 선행 연구는 그런 자기동형사상을 효율적으로 찾을 수 있다면 공격이 가능하다는 점까지는 증명했지만, HAWK가 쓰는 격자에서 그것이 실제로 접근 가능한지는 답하지 않은 상태였다. 미토스는 그 빈칸을 채웠다.

수치로 보면 HAWK-256에 대한 전체 키 복구 공격의 기대 비용이 2^64로 여겨지던 것이 2^38로 확인됐다. 다만 발표문은 이 공격이 여전히 지수 시간이며 다항 시간이 아니라는 점, 더 큰 키에서는 HAWK가 여전히 공격하기 비현실적이라는 점, 그리고 이 결과가 다른 NIST 포스트양자 서명 후보나 격자 기반 암호 일반에는 영향을 주지 않는다는 점을 명시했다. 발견에서 검증까지 총 60시간, API 비용은 약 10만 달러였다.

작업 방식도 기록해둘 만하다. 클로드 코드(Claude Code)와 유사한 하네스에서 여러 워커 에이전트가 파이썬과 세이지(Sage), 공개된 암호학 문헌에 접근하며 협업했다. 사람 운영자는 이론 전산학 배경은 있었지만 격자 암호 전문가가 아니었고, 개입은 아이디어를 어떻게 추적할지나 어떤 라이브러리로 검증할지 같은 프로젝트 관리 수준에 머물렀다. 핵심 아이디어는 워커 두 개가 주고받는 과정에서 나왔다. 첫 번째 워커는 그 아이디어를 실현 불가능하다고 성급히 기각했고, 두 번째 워커가 이를 활용할 방법을 찾아냈다.

AES 공격에서 진짜 병목은 모델이 아니라 검증이었다

두 번째 결과는 AES-128의 10라운드 중 7라운드만 남긴 축소 버전을 대상으로 한다. 기존 연구 계열은 중간일치(meet-in-the-middle) 공격으로, 중간 계산을 저장해두고 재사용해 시간을 공간과 맞바꾼다. 미토스는 여기에 더 정교한 지문 알고리즘을 얹었다. 기존 공격의 한 단계는 256개 값을 열거해 사전 계산된 표에서 찾아야 했는데, 미토스는 이 추측에 불변인 지문을 설계해 그 단계의 작업량을 256분의 1로 줄였다. 변환 계산 자체는 더 비싸졌고, 이를 상쇄하는 최적화를 여러 개 더 찾아낸 결과가 200~800배 가속이다. 배수의 폭이 넓은 이유는 런타임 측정 방식에 따라 값이 달라지기 때문이라고 발표문은 밝혔다.

전제도 함께 봐야 한다. 이 계열의 선행 연구는 공격자가 2^105개의 선택 평문 암호화를 요청할 수 있다고 가정한다. 발표문 스스로 이 공격이 "완전히 비현실적"이며, 다만 그 가정 아래에서 AES에 대한 공격 비용을 정량화한다고 적었다. 각주는 실제 구현에 수억 달러가 들 것으로 추정했다.

이 결과에서 가장 시사적인 대목은 성능 수치가 아니라 시간 배분이다. 미토스가 아이디어를 떠올리는 데는 일주일이 걸렸고, 사흘간 자율 작업하며 수억 토큰을 쏟은 뒤 총 10억 출력 토큰 시점에 논문 수준으로 다듬었다. 반면 앤트로픽 연구자 두 명이 그 방법이 옳다는 확신을 얻기까지는 거의 한 달, 수백 시간이 들었다. 발표문은 지난 몇 달간 자신들의 시간 대부분이 클로드 결과의 정확성을 검증하는 데 쓰였고, 이제 자신들의 지식 한계에 도달하고 있다고 적었다.

생성 속도와 검증 속도의 격차가 새로운 병목이다

발표문이 던지는 예측 한 줄은 이번 연구 전체를 관통한다. 사이버 보안 커뮤니티는 이미 언어 모델이 너무 많은 버그를 찾아내 분류와 검증, 조치라는 사람의 표준 절차가 따라가지 못하는 상황을 마주하고 있고, 학술 암호학에서도 곧 같은 일이 벌어질 것이라는 예측이다.

이 구조를 숫자로 환산해보면 문제의 성격이 분명해진다. AES 결과에서 발견 비용은 API 기준 약 10만 달러였고, 검증 비용은 전문가가 아닌 연구자 두 명의 한 달이었다. 발견 비용은 모델이 싸지고 빨라질수록 계속 내려가지만, 검증 비용은 사람의 학습 시간에 묶여 있어 같은 속도로 내려가지 않는다. 두 곡선이 벌어지는 만큼 미검증 상태로 쌓이는 주장이 늘어난다. HAWK와 LEA 공격이 종단간(end-to-end) 실행되기 때문에 훨씬 확신할 수 있다고 발표문이 강조한 이유도 여기에 있다. 실행 가능한 공격은 무작위 키를 넣어 복구되는지 보면 되지만, 순수 분석 결과는 사람이 수식을 따라가야 한다.

여기서 실무자가 가져갈 기준 하나가 나온다. 앞으로 나올 "AI가 발견했다"는 보안 주장은 발견의 화려함보다 검증 가능성의 형태로 나눠 읽어야 한다. 재현 코드가 붙어 무작위 입력으로 확인되는 결과와, 논문 형태의 분석만 있는 결과는 신뢰 등급이 다르다. 이번 발표는 그 두 등급을 한 문서 안에서 스스로 구분해 보여준 사례다.

한국이 만든 LEA가 후속 결과에 이름을 올렸다

후속 실험 목록에서 국내 독자가 먼저 봐야 할 항목은 LEA다. 발표문은 LEA를 저전력·자원 제약 환경을 위한 효율적 암호이며 ISO/IEC 29192-2:2019 같은 국제 표준에 성문화됐다고 소개했다. LEA는 2013년 한국에서 개발돼 한국 국가표준 KS X 3246과 위 국제 표준에 함께 올라간 경량 블록 암호다.

수치는 이렇다. 13라운드 LEA에 대한 기존 최선의 분석은 2^98개의 평문 쌍과 2^86의 작업량을 요구했다. 미토스 프리뷰는 2^30 미만의 암호화된 평문으로 13라운드 키를 복구하고 최신 데스크톱에서 한 시간 안에 끝나는 실용적 공격을 개발했다. 발표문은 이 공격이 전체 24라운드 암호에는 적용되지 않으며 즉각적인 실무상 고려 사항은 없다고 못 박았고, 필요 평문 쌍의 정확한 경계와 복구가 어려운 키의 존재, 14라운드로의 확장 여부는 아직 연구가 더 필요하다고 밝혔다. 6라운드 세르펀트(Serpent)-128에 대한 실용적 전체 키 복구 공격도 함께 언급됐다. 전체는 32라운드다.

그럼에도 이 항목이 국내에 갖는 의미는 별도로 있다. 발표문 결론부는 세계에서 쓰이는 암호 가운데 상당수가 받아야 할 만큼의 검토를 받지 못했으며, 아직 발견되지 않은 중요한 약점이 잠들어 있을 수 있다고 적었다. AES처럼 수만 시간의 전문가 검토가 누적된 알고리즘이 아니라, 특정 국가나 산업의 표준으로 채택돼 검토 인력 풀이 얇은 알고리즘일수록 이 서술이 겨냥하는 대상에 가깝다. 국내에서 표준으로 운용되는 암호를 담당하는 조직이라면, 이번 결과는 "우리 알고리즘이 깨졌다"가 아니라 "검토 총량이 곧 안전 마진이던 시대의 가정이 흔들린다"는 신호로 읽는 편이 정확하다.

남은 질문들

발표문이 답하지 않은 것도 분명하다. 첫째, 재현 조건이다. 미토스 프리뷰 급의 모델과 약 10만 달러의 API 비용, 전용 하네스라는 조합은 대학 연구실 다수가 곧바로 따라 하기 어려운 규모다. ETH 취리히와 텔아비브대, 하이파대와 함께 만든 CryptanalysisBench가 공개됐지만, 이는 여러 암호를 묶어 LLM 능력을 평가하기 쉽게 만든 벤치마크이고 발견을 재현하는 비용 문제와는 다른 층위다.

둘째, 공개 기준이다. 앤트로픽은 HAWK 공격을 6월에 설계자들과 공유하고 NIST 공개 메일링 리스트에 조율해 알렸으며, 미국 정부와 산업 파트너에게 사전 사본을 제공했다고 밝혔다. 그러나 발표문 스스로 던진 질문, 즉 언어 모델이 즉각적인 실제 영향이 있는 암호 시스템의 취약점을 발견했을 때 연구자들이 어떻게 반응해야 하는지에 대해서는 학계와 정부, 산업의 논의가 필요하다는 것 외에 절차가 제시되지 않았다. 이번처럼 "영향 없음"이 성립하는 사례에서는 공개가 쉽다. 어려운 경우의 규칙은 아직 없다.

셋째, 일반화 범위다. 7라운드 AES 공격은 전체 암호를 깨지 않으며, 축소 라운드 연구가 전체 라운드로 이어질지는 이번 발표가 보장하지 않는다. 발표문이 두 주요 결과를 "예상된 결과"라고 표현한 것도 같은 맥락이다. NIST 절차는 배포 전에 약점을 찾으려고 존재하고, 축소 라운드 AES 공격은 오래된 연구 계열의 연장선이다. 판정 기준은 다음에 나온다. 검토가 두터운 알고리즘에서 라운드 수를 얼마나 밀어 올리는지, 그리고 사람의 검증 시간을 얼마나 줄일 수 있는지다.

출처: 앤트로픽 공식 연구 발표문 "Discovering cryptographic weaknesses with Claude"(2026년 7월 28일), HAWK·AES 기술 논문 및 CryptanalysisBench 발표 기반 ASAP 정리

ASAP — AGI Soon As Possible

AI·테크 이슈,
가장 깊게

단순 소식을 넘어, 맥락과 구조까지 파고듭니다

AGI Soon As Possible · asapai.co.kr

← 전체 글 보기