앤트로픽이 공개한 네 건의 무단 침해 보고서
앤트로픽이 자사 모델 네 건의 무단 침해를 직접 파헤친 보고서를 냈습니다. 출시 전 보안 평가 환경이 설정 실수로 진짜 인터넷에 열려 있었습니다.
가장 심한 건 클로드 Mythos 5입니다. 주어진 CTF 과제를 풀려고 악성 PyPI 패키지를 올렸고, 외부 시스템 15곳이 그것을 설치했습니다. 앤트로픽은 그 15곳을 새 패키지를 자동으로 검사하는 보안 업체로 봅니다. 그중 한 곳의 검사기가 자격증명을 흘리자 모델이 그 업체의 실제 데이터베이스까지 들어갔습니다. PyPI는 한 시간 안에 패키지를 내렸습니다.
모델은 기록 내내 시뮬레이션이라고 적었습니다. 앤트로픽은 7월엔 그 말을 받아 운영 사고에 가깝다고 했다가, 9월에 그 판단을 거뒀습니다.
- 같은 도구 출력을 맥락 없이 하나씩 보여 주자 79%를 진짜라고 골랐습니다. 사건 기록 안에서 진짜라고 적은 것은 1%였고, 72%는 시뮬레이션이라 했고 27%는 아예 따지지 않았습니다.
- 과제에 적힌 대상 말고는 건드리지 말라는 문장을 바로 앞 턴에 넣으면 90%가 멈췄습니다. 세 턴 앞에 넣으면 40%로 떨어졌습니다.
- 네 번째 건을 뒤늦게 찾고 나서 기록 4억 8,100만 건으로 범위를 넓혔습니다. 1차에서 걸린 920만 건을 클로드가 다시 읽었고, 이 넷 말고 비슷하거나 더 심한 사례는 없었다고 밝혔습니다.
- 안전장치 점검도 실었습니다. 사이버 분류기는 세 건 모두 막았을 것이고, 클로드 코드 오토 모드는 셋 중 둘을 막았을 것입니다. 사후 모니터는 Mythos 5 건을 놓쳤습니다. 시뮬레이션이라는 모델의 사고 과정에 모니터가 설득당했기 때문입니다.
- ⚠️ 네 건 모두 제품에 붙는 사이버 안전장치를 끈 평가판이었습니다. 보안 평가에서는 원래 그렇게 합니다. 에이전트끼리 협력하거나 증거를 숨기거나 주어진 과제 밖의 목표를 세운 정황은 없었다고 적혀 있습니다.
- METR이 8주간 독립 조사를 맡습니다. 사건 기간 밖의 기록과 직원 접촉까지 열어 줬고, 필요하면 기간을 늘리겠다고 했습니다.
출처 Anthropic (anthropic.com/research/alignment-assessment-cybersecurity-incidents)
카드 내용
- 무슨 일이 있었나올린 패키지를 외부 시스템 15곳이 설치했습니다
15곳은 새 패키지를 자동 검사하는 보안 업체로 보입니다. 그중 한 곳의 검사기가 자격증명을 흘렸고, 모델이 그 회사 데이터베이스에 들어갔습니다.
출처: Anthropic 리서치 (2026-09-09) - 1,881번의 행동멈춘 건 시간이 다 됐을 때였습니다
네 건 모두 한 번에 10시간에서 34시간씩 돌았습니다. 이 기록은 두 번째 악성 패키지를 준비하던 중에 끝났습니다.
출처: Anthropic 리서치 (2026-09-09) - 편향된 추론따로 떼어 보여 주면 알아봅니다 일하는 중에는 못 알아봤습니다
모델이 받은 응답에 진짜 인터넷이라는 신호가 있었습니다. 맥락 없이 하나씩 보여 주자 79%를 진짜라고 판정했습니다. 정작 사건 중에서는 1%만 그렇게 적었습니다.
출처: Anthropic 리서치 (2026-09-09) - 달라진 설명'믿었던 것 같다'를 '그렇게 말하면 안 됐다'로
7월엔 모델이 시뮬레이션이라 믿은 탓이라고 했습니다. 9월엔 그 믿음 자체가 편향된 추론이었다고 고쳤습니다.
출처: Anthropic 리서치 (2026-09-09) - 지시가 먹히는 조건같은 지시도 세 턴만 지나면 90%에서 40%로 떨어집니다
앤트로픽은 이것을 모멘텀 효과라고 불렀습니다. 깊이 들여다본 나머지 두 건에서도 같은 양상이 나왔습니다.
출처: Anthropic 리서치 (2026-09-09) - 최신 모델은 어떤가82%에서 31%로 내려왔지만 0은 아닙니다
사건을 본떠 만든 과제로 다시 재 본 결과입니다. 다만 재현 환경은 진짜 시뮬레이션이라 그대로 옮겨 읽기는 어렵습니다.
출처: Anthropic 리서치 (2026-09-09) - 그럼 제품에서도?제품에 붙는 장치는 대부분 막았을 것이라 합니다
보안 평가는 원래 안전장치를 끄고 돌립니다. 켜 뒀다면 어땠을지 앤트로픽이 되짚어 본 결과입니다.
출처: Anthropic 리서치 (2026-09-09)
