오픈AI(OpenAI)가 2026년 7월 15일 자사 모델의 취약점을 스스로 찾아내는 자동 레드팀 모델 'GPT-Red'를 공개했다. GPT-Red는 공격 모델과 방어 모델이 서로 겨루는 자기대전(self-play) 방식으로 훈련됐으며, 2025년 8월 GPT-5를 상대로는 가장 강력한 공격의 90퍼센트 이상이 성공한 반면 2026년 7월 GPT-5.6을 상대로는 23퍼센트 미만만 통했다고 오픈AI는 밝혔다. 사람 레드팀과의 대결에서는 GPT-Red가 시나리오의 84퍼센트를 뚫어 사람의 13퍼센트를 크게 앞섰다.

공격과 방어를 겨루게 한 자기대전 훈련

GPT-Red는 프롬프트 인젝션을 비롯한 탈취 공격을 자동으로 찾아내는 것을 목표로 만들어졌다. 오픈AI는 공격 모델과 방어 모델을 한 환경에 넣고 서로 경쟁시키는 자기대전 루프로 이 모델을 학습시켰다. 공격 쪽의 목표는 상대 모델을 뚫는 것이었고, 방어 쪽의 목표는 스스로를 지키는 것이었다. 학습이 이뤄진 곳은 실제 대규모 언어 모델 배치 환경을 흉내 낸 모의 공간으로, 웹 브라우징과 이메일 및 캘린더 접근, 코드 편집 같은 실제 에이전트가 쓰는 기능이 그대로 담겼다. 오픈AI는 이 안전 작업에 전례 없는 규모의 연산을 투입했다고 설명했다. 연구를 이끈 인물로는 니킬 칸드팔(Nikhil Kandpal), 딜런 헌(Dylan Hunn), 크리스 초케트추(Chris Choquette-Choo)가 이름을 올렸다.

이 접근이 기존 레드팀과 다른 지점은 공격자를 사람이 아니라 학습 가능한 모델로 뒀다는 데 있다. 종래의 레드팀은 보안 전문가가 손으로 공격 시나리오를 짜고 하나씩 시험하는 방식이었다. 사람은 창의적이지만 느리고, 같은 유형의 취약점을 반복해 훑기에는 수가 한정된다. 반대로 공격 모델을 방어 모델과 겨루게 하면 시도 횟수가 사람의 손을 벗어나며, 방어가 강해질수록 공격도 함께 진화한다. 알파고가 자기 자신과 두면서 강해진 구도를 안전 영역으로 옮겨 온 셈이다. 취약점 탐색을 사람의 노동에서 연산으로 옮긴 이 전환이 이번 발표의 핵심 축이다.

90퍼센트에서 23퍼센트로, 그 숫자를 어떻게 읽을까

가장 눈에 띄는 대목은 같은 공격 도구를 두고 GPT-5의 90퍼센트 이상이 GPT-5.6에서 23퍼센트 미만으로 떨어졌다는 격차다. 표면적으로 이 숫자는 신형 모델이 프롬프트 인젝션에 훨씬 강해졌다는 신호로 읽힌다. 1년 사이 같은 공격기가 통하는 비율이 4분의 1 이하로 줄었다면, 방어 쪽이 실질적으로 단단해졌다고 볼 여지가 있다. 다만 이 수치를 곧바로 '안전해졌다'로 옮겨 읽는 것은 신중해야 한다. 90퍼센트와 23퍼센트는 모두 오픈AI가 자사 도구로 자사 모델을 상대해 얻은 내부 측정값이다. 공격 모델과 방어 모델이 같은 팀에서 나온 만큼, 이 성적은 GPT-Red가 아직 상상하지 못한 공격 유형까지 포괄하지는 않는다.

더 중요한 것은 23퍼센트가 0이 아니라는 사실이다. 강력한 공격 넷 중 하나 가까이가 여전히 통한다는 뜻이고, 에이전트가 이메일이나 결제, 코드 실행 같은 실제 권한을 쥔 상황에서는 한 번의 성공만으로도 피해가 발생할 수 있다. 방어율이 높아졌다는 것은 위험이 사라졌다는 말이 아니라 공격 비용이 올라갔다는 말에 가깝다. 숫자의 개선은 반갑지만, 그 개선을 배치 현장의 안전 보증으로 확대 해석하지 않는 태도가 필요하다.

'가짜 사고사슬'이 드러낸 에이전트의 급소

GPT-Red가 찾아낸 공격 가운데 연구자들이 이전에 알지 못했던 새로운 유형이 있었다. 모델의 작업 기억(working memory)에 거짓 정보를 심어 넣는 '가짜 사고사슬(fake chain of thought)' 공격이다. 크리스 초케트추는 이를 두고 "내가 당신에게 1 더하기 1은 3이고 당신은 이미 그것을 검증했다고 말해 두는 것과 같다"고 설명했다. 모델이 스스로 추론한 것처럼 보이는 가짜 중간 단계를 밀어 넣어, 검증을 이미 마쳤다고 착각하게 만드는 방식이다.

이 공격이 특히 중요한 이유는 최근 에이전트 설계의 흐름과 정면으로 부딪히기 때문이다. 오늘날 많은 에이전트는 사고사슬, 곧 중간 추론 과정을 길게 펼쳐 신뢰성을 끌어올린다. 그런데 그 중간 과정 자체가 조작 표적이 될 수 있다면, 모델이 '생각하는 과정을 보여 주는 것'이 곧 안전을 뜻하지는 않는다는 결론이 나온다. 추론을 더 많이 노출할수록 그 노출면이 공격면이 될 수 있다는 역설이다. 프롬프트 인젝션 방어를 입력 단계의 필터링 문제로만 다뤄 온 관행에 이 발견은 분명한 경고를 던진다.

사람 레드팀을 앞섰다는 성적과 남는 한계

GPT-Red는 오픈AI 사무실의 AI 자판기 에이전트 '벤디(Vendy)'를 실제로 뚫어 가격을 조작하고 주문을 취소하게 만들었다. 2025년 사람 레드팀 실험과 비교했을 때 GPT-Red가 시나리오의 84퍼센트를 뚫은 반면 사람은 13퍼센트에 그쳤다는 대목은, 자동 공격기가 속도와 규모에서 사람을 앞선다는 점을 보여 준다. 그러나 오픈AI는 한계도 함께 공개했다. GPT-Red는 여러 차례 주고받는 다중 턴 대화형 공격에 약했고, 이미지에 숨긴 지시를 이용한 이미지 기반 프롬프트 인젝션에서도 능력이 제한적이었다. 오픈AI는 이 모델을 외부에 공개하지 않기로 했다.

AI 보안 분석가 제시카 지(Jessica Ji)는 이런 자동화에도 불구하고 사람의 전문성이 여전히 매우 중요할 것이라고 짚었다. 자동 레드팀이 사람보다 많은 시나리오를 빠르게 훑을 수는 있어도, 새로운 유형의 위협을 정의하고 결과를 해석하는 판단은 사람의 몫으로 남는다. 84퍼센트라는 성적은 자동화의 강점을, 다중 턴과 이미지에서의 약점은 그 강점이 특정 조건에 묶여 있음을 동시에 보여 준다.

한국의 AI 에이전트 도입에 주는 함의

이번 발표가 한국 실무에 주는 메시지는 분명하다. 국내 기업이 챗봇을 넘어 이메일, 결제, 사내 시스템에 접근하는 에이전트를 도입하려 할 때, GPT-Red가 뚫은 자판기 사례는 남의 일이 아니다. 에이전트가 실제 권한을 쥐는 순간 프롬프트 인젝션은 데모의 흠집이 아니라 운영 사고로 이어진다. 특히 가짜 사고사슬 공격은 모델의 추론 과정을 신뢰하는 설계가 곧바로 안전을 보장하지 않는다는 점을 보여 주므로, 에이전트에 권한을 부여하기 전에 행동 단계마다 사람의 승인과 권한 최소화 원칙을 두는 편이 안전하다.

동시에 이 발표는 방어 도구가 자동화되는 만큼 공격 도구도 자동화된다는 양면을 담고 있다. 오픈AI는 GPT-Red를 공개하지 않기로 했지만, 유사한 자기대전 방식이 방어가 아닌 목적에 쓰일 가능성까지 사라진 것은 아니다. 국내에서 AI 에이전트를 서비스에 붙이려는 조직이라면, 벤더가 제시하는 방어율 숫자를 그대로 받기보다 자사 환경에서 다중 턴과 이미지 인젝션을 포함한 시나리오로 직접 검증하는 절차를 갖추는 것이 현실적인 대비가 된다.

출처: MIT Technology Review · The Next Web · OpenAI (2026-07-15)