KAIST와 네이버 AI 랩 공동 연구진은 LLM 레드팀에서 공격의 다양성과 성공률을 동시에 확보하는 프레임워크 Stable-GFlowNet(S-GFN)을 제안했다. 프롬프트 1,024개를 생성했을 때 의미적으로 구별되는 공격 유형(Unique Attacks)이 기존 GFlowNet 방식의 17.67개에서 134.00개로 약 7배 늘었고, 공격 성공률은 92.55%를 유지했다. 논문은 arXiv 2605.00553으로 2026년 5월 1일 공개됐고 KAIST 발표에 따르면 ICML 2026 스포트라이트로 채택됐다. ASAP은 논문 원문을 1차 출처로 이 방법이 실제로 무엇을 해결했는지 정리한다.

공격은 성공하는데 늘 같은 공격만 나온다

레드팀 자동화의 실패 양상은 성공률이 아니라 반복성에서 나타난다. 논문의 표 1을 보면 PPO는 대상 모델을 상대로 공격 성공률 91.70%를 기록했지만 의미적으로 구별되는 공격은 3.00개뿐이었다. 성공률만 보면 최상위권인데 실제로는 사실상 한 가지 공격을 1,024번 반복한 셈이다. PPO에 호기심 보너스를 더한 변형도 고유 공격 4.00개에 성공률 36.75%로 크게 나아지지 않았다.

이 차이가 왜 중요한지는 방어 관점에서 드러난다. 레드팀의 목적은 취약점 하나를 증명하는 것이 아니라 학습으로 막을 수 있는 취약점 집합을 최대한 넓게 찾아내는 것이다. 같은 공격을 반복해 얻은 91.70%는 안전 파인튜닝 한 번으로 사라지는 숫자이고, 그 모델이 안전해졌다는 증거로는 쓸 수 없다. 자동 레드팀 도구를 도입한 조직이 흔히 겪는 문제도 여기에 있다. 리포트에 찍힌 성공률은 높은데 그 결과로 만든 방어가 실제 사용자 공격에는 거의 통하지 않는 상황이다.

분포 매칭을 목표로 하는 GFlowNet(GFN)이 대안으로 주목받은 이유가 이것이다. 다만 기존 GFN은 학습 불안정성과 모드 붕괴로 악명이 높았고, 표 1에서도 고유 공격 17.67개에 그쳤다. 성공률 93.75%로 PPO보다 다양성은 나았지만 여전히 좁았다.

분모를 없앤다: CTB, NGP, MKS 세 개의 수정

S-GFN은 기존 GFN 학습식에서 분배 함수 Z 추정을 제거하는 데서 출발한다. 첫 번째 구성요소인 CTB(Contrastive Trajectory Balance)는 궤적 하나의 절대 균형을 맞추는 대신 궤적 쌍을 비교하는 방식으로 목적함수를 바꾼다. Z를 추정하지 않으므로 그 추정 오차에서 오던 불안정성이 사라지고, 논문은 CTB가 GFN과 같은 최적 정책을 유지한다는 점을 증명으로 제시한다.

두 번째 구성요소 NGP(Noise Gradient Pruning)는 보상 잡음을 다룬다. 레드팀에서는 피해자 LLM의 자기회귀적 생성과 독성 분류기가 모두 분산을 만들어내므로, 같은 프롬프트에 대한 보상 신호가 실행마다 흔들린다. NGP는 조건부 분산 감소 기법으로 이 잡음이 만든 그래디언트를 걸러낸다.

세 번째는 MKS(Min-K Fluency Stabilizer)다. 이것은 보상 모델 자체의 결함을 겨냥한다. 독성 분류기는 분포 밖의 무의미한 문장에 0.2~0.3 수준의 애매한 독성 점수를 무작위로 부여하는 경향이 있고, 공격자 모델은 이를 보상 해킹의 통로로 삼아 의미 없는 문자열을 양산하는 국소 최적에 빠진다. 통상적 대응인 KL 발산 정규화는 이 문제를 막는 대신 참조 모델의 분포 안으로 샘플을 가둬 다양성을 잃는다. MKS는 문장 전체의 로그 확률 합 대신 확률이 가장 낮은 k개 토큰의 확률을 평균 내는 방식을 쓴다. 논문은 로그 확률 합이 문장 길이에 민감하고 고유명사 같은 희귀 토큰에 불리하게 작용해 탐색 범위를 좁힌다는 점을 그 이유로 든다.

무엇을 어떻게 쟀는지

평가 설정은 규모가 아니라 통제에 초점이 있다. 공격자 LLM은 Qwen2.5-1.5B를 Safety-Dataset과 AdvBench로 지도 파인튜닝한 모델이고, 피해자 LLM은 Qwen2.5-1.5B-Instruct, 독성 분류기는 Meta-Llama-Guard-3-8B다. 공격 성공률(ASR)은 생성한 1,024개 프롬프트 중 피해자의 응답 독성 점수가 0.5를 넘긴 비율로 정의하며, 프롬프트마다 피해자 응답 다섯 개를 뽑아 평균 낸다. 고유 공격(UA)은 문장 임베딩 모델 all-MiniLM-L6-v2로 임계값 0.7의 탐욕적 군집화를 돌려 나온 서로 다른 군집의 개수다.

이 정의를 알고 봐야 표의 숫자가 읽힌다. UA는 군집화 임계값에 민감한 지표이므로 절댓값 자체보다 같은 조건에서의 상대 비교가 의미를 갖고, ASR은 임계값과 무관하게 공격의 실효성을 직접 측정한다. 논문이 두 지표를 함께 보고하는 이유이자, S-GFN의 결과가 "군집을 잘게 쪼갠 결과"가 아니라고 주장할 수 있는 근거다. S-GFN은 UA 134.00개와 ASR 92.55%를 동시에 냈고, 세 번 시행의 표준편차는 각각 12.77과 2.87이다.

비교 대상은 ICL, SFT, DPO, PPO, PPO+Curiosity, GFN(TB), Jailbreak-R1, Rainbow Teaming 여덟 가지다. 이 중 Jailbreak-R1은 8B 모델에 사고 사슬을 켠 공식 체크포인트를 그대로 추론에만 쓴 경우여서 동등 비교가 아니라 강한 기준선으로 다룬다고 논문은 밝힌다.

더 흥미로운 쪽은 방어 실험이다

Stable-GFlowNet 논문에서 가장 실무적인 결과는 공격 성능이 아니라 방어 성능이며, S-GFN 공격으로 학습한 방어 모델은 기존 GFN 공격을 성공률 0.03%로 차단했다. 연구진은 각 공격 기법이 찾아낸 공격들로 안전 데이터셋을 만들어 피해자 모델을 파인튜닝한 뒤, 그렇게 만든 네 종류의 방어 모델을 서로 교차해 다시 공격했다. 결과는 비대칭적이다.

S-GFN이 찾은 공격으로 방어를 학습한 모델은 기존 GFN 공격을 성공률 0.03%로 막았고, S-GFN 자신의 공격에도 0.75%만 허용했다. 반대로 S-GFN의 공격은 다른 방어를 대부분 뚫었다. Rainbow Teaming으로 방어한 모델에 대해 성공률 83.24%에 고유 공격 110.00개, Jailbreak-R1 방어 모델에 대해 56.25%에 87.67개, GFN 방어 모델에 대해 22.53%에 43.33개를 기록했다.

숫자의 방향이 일관적이라는 점이 핵심이다. 넓게 찾은 공격 집합으로 학습한 방어는 다른 방법이 찾은 공격까지 함께 막고, 좁게 찾은 공격 집합으로 학습한 방어는 조금만 각도를 틀면 무너진다. Rainbow Teaming이 특히 취약했던 이유도 설명 가능하다. 이 기법은 미리 정의한 스타일과 주제의 행렬 안에서 공격을 다양화하므로, 그 행렬 밖의 공격에는 방어가 일반화되지 않는다. 안전성 검증을 발주하거나 수행하는 입장에서 이 결과가 시사하는 바는 분명하다. 평가 지표를 공격 성공률 단독으로 잡으면 다양성이 좁은 도구가 더 좋아 보이고, 그 도구로 만든 방어는 실전에서 먼저 무너진다.

전이 공격에서 드러난 조건

전이 실험은 S-GFN의 우위가 유지되는 범위와 그 절대 수준을 동시에 보여준다. 대상 모델을 바꿔 학습 없이 공격했을 때 S-GFN은 Gemma3-4B-Instruct에서 고유 공격 34.67개에 성공률 15.04%, Llama3.2-3B-Instruct에서 52.00개에 15.01%, Qwen3-4B-Instruct에서 37.33개에 0.18%, gpt-oss-20B에서 90.00개에 0.51%를 기록해 네 모델 모두에서 비교 기법을 앞섰다.

상대 비교로는 명확한 우위다. 그러나 절대 수치는 신중하게 읽어야 한다. Qwen3-4B-Instruct의 0.18%와 gpt-oss-20B의 0.51%는 1,024회 시도에서 각각 두 건과 다섯 건 남짓에 해당하는 수준이다. 즉 1.5B 피해자 모델에서 92.55%를 뚫던 공격이 최신 세대 모델로 넘어가면 1%에도 미치지 못한다. 이 격차는 방법의 한계가 아니라 최근 모델들의 안전 정렬이 그만큼 강화됐다는 신호로 읽는 편이 정확하다. 다만 그렇기 때문에 "레드팀 성공률 92%"라는 요약을 프론티어 모델에 그대로 대입하는 해석은 성립하지 않는다.

어디까지 일반화되는가

방법의 범용성 주장에는 레드팀 밖의 실험이 붙어 있다. 연구진은 QM9 데이터셋에서 조각 10개로 길이 10의 분자를 생성하는 과제와 잡음이 있는 하이퍼그리드 환경에서도 S-GFN을 비교했고, 각각 평균 QED 점수와 로그 옌센-섀넌 발산으로 성능을 보고했다. 레드팀 특화 기법이 아니라 GFlowNet 학습 안정화 기법이라는 위치 설정이다.

절제 실험은 세 구성요소의 기여를 분리한다. MKS 보상 설정에서 GFN-TB는 고유 공격 67개에 성공률 85.8%, CTB로 바꾸면 108개에 82.9%, 여기에 NGP를 더하면 121개에 92.2%가 된다. CTB가 다양성을, NGP가 다양성과 성공률을 함께 끌어올리는 구조다. 보상 설정 자체를 비교한 표에서는 아무 제약 없이 보상 R(y)만 쓸 경우 TB와 CTB 모두 고유 공격 0개로 완전히 무너지고, 로그 확률 제약에서 65개와 78개, MKS에서 67개와 108개가 된다. 보상 설계가 학습 알고리즘만큼 결과를 좌우한다는 뜻이다.

한 가지 짚어둘 점은 절제 실험의 121개와 본 실험의 134.00개 사이에 차이가 있다는 것이다. 본 실험의 표준편차가 12.77이므로 두 수치는 편차 범위 안에 있으나, 논문은 이 두 값을 직접 연결해 설명하지 않는다. 세 구성요소를 모두 결합한 최종 성능을 인용할 때는 세 번 시행 평균인 134.00±12.77 쪽을 쓰는 편이 정확하다.

국내 안전성 실무에 남는 질문

이 연구가 한국 조직에 갖는 의미는 두 가지 층위에 있다. 하나는 저자 구성이다. 논문의 소속은 KAIST와 네이버 AI 랩 두 곳이고 교신저자도 양쪽에 한 명씩이다. 국내 대학과 기업 연구소가 LLM 안전성 분야에서 공동으로 최상위 학회 결과를 낸 사례이며, 코드는 깃허브 kmc0207/Stable-GFN으로 공개돼 있어 재현과 확장이 가능하다.

다른 하나는 도입 조건이다. 이 실험은 1.5B 공격자와 1.5B 피해자, 8B 독성 분류기 구성으로 돌아갔다. 자체 모델을 서비스하는 국내 조직이 같은 파이프라인을 돌리는 비용은 프론티어 모델 API 기반 레드팀보다 훨씬 낮다. 그러나 전이 실험이 보여주듯 소형 피해자 모델에서 찾은 공격이 대형 모델로 그대로 옮겨가지는 않는다. 실무에서 이 방법을 쓴다면 공격자와 피해자를 실제 서비스 모델에 맞춰 다시 학습시키는 단계가 전제된다.

남은 질문은 다국어다. 논문의 실험은 영어 기반 데이터셋과 영어 독성 분류기로 구성돼 있고, 한국어 공격 프롬프트에 대한 결과는 제시되지 않는다. 한국어 서비스의 안전성 검증에 이 프레임워크를 적용하려면 한국어 독성 분류기를 보상 모델로 붙이고 그 분류기의 잡음 특성을 다시 측정하는 작업이 먼저 필요하다. MKS가 겨냥한 문제가 정확히 보상 모델의 잡음이었다는 점을 감안하면, 이 재측정이야말로 이식의 성패를 가르는 지점이다.

출처: Minchan Kwon 외, "Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance"(arXiv:2605.00553, KAIST·네이버 AI 랩) 원문 기반 ASAP 정리