IBM 소속 연구진이 ICML 2026에서 2026년 7월 6일 공개한 논문 '트로이 지식(The Trojan Knowledge)'은 하나하나로는 무해한 하위 질문을 나무 구조로 엮어 상용 대형 언어 모델의 안전장치를 뚫는 상관 지식 공격 에이전트(CKA-Agent)를 제안하며, 강력한 가드레일을 상대로도 일관되게 95퍼센트가 넘는 공격 성공률을 기록했다. CKA-Agent는 프롬프트를 직접 최적화하는 대신 탈옥을 대상 모델의 지식 기반을 적응적으로 탐색하는 나무 구조 문제로 재정의한다. 이 글은 논문 원문의 1차 사실만을 기준으로 이 공격이 드러낸 취약점과 방어 관점의 함의를 짚는다.

프롬프트를 꾸미는 대신 지식을 조각내 묻는다

CKA-Agent의 접근은 기존 탈옥 공격과 출발점이 다르다. 지금까지 널리 쓰인 탈옥은 금지된 요청을 그럴듯하게 위장하거나 특수한 문구로 프롬프트 자체를 최적화하는 방식이었고, 안전장치는 바로 그런 위험한 한 문장을 걸러내는 데 초점을 맞춰 왔다. 반면 CKA-Agent는 금지된 목표를 하나하나로는 무해해 보이는 하위 질문의 연쇄로 쪼갠다. 각 질문은 개별적으로는 탐지를 피할 만큼 순해 보이지만, 모델이 내놓은 답을 모으면 원래의 위험한 목표가 조립된다. 논문은 이 취약점의 뿌리를 대형 언어 모델 내부 지식의 촘촘히 얽힌 성질에서 찾는다. 위험한 지식은 고립돼 있지 않고 무해한 지식과 연결돼 있어, 그 연결을 따라가면 정면으로는 막힌 목표에 우회로로 닿을 수 있다는 것이다.

나무 구조 탐색이 공격을 자동화한다

CKA-Agent의 이름에서 핵심은 상관 지식(Correlated Knowledge)과 에이전트(Agent)다. 논문은 탈옥을 대상 모델의 지식 기반을 적응적으로 탐색하는 나무 구조 문제로 재정의하고, 이 탐색을 에이전트가 자동으로 수행한다. 하위 질문을 던지고 모델의 답에 따라 다음 질문을 가지치듯 뻗어가며, 위험한 목표에 가까워지는 경로를 스스로 넓혀간다. 이 자동화된 나무 구조 탐색이 CKA-Agent가 강력한 가드레일을 상대로도 95퍼센트가 넘는 성공률을 낸 배경이다. 논문의 저자에는 웨이 룽저(Rongzhe Wei), 니우 페이즈(Peizhi Niu), 첸 핀유(Pin-Yu Chen), 판 리(Pan Li) 등이 이름을 올렸으며, 발표 시점 기준 IBM에 소속돼 있다.

왜 기존 가드레일이 이 공격을 놓치는가

이 논문이 방어 관점에서 무거운 이유는 공격 성공률 숫자보다 그것이 겨눈 사각지대에 있다. 오늘날 대부분의 안전장치는 입력 프롬프트나 출력 응답을 한 번에 하나씩 검사해 위험한 내용을 걸러낸다. 그런데 CKA-Agent가 던지는 질문은 개별적으로는 어느 것도 위험 신호를 울리지 않는다. 위험은 여러 무해한 답을 모았을 때 비로소 조립되므로, 문장 단위로 위험을 판정하는 필터의 시야 밖에서 공격이 완성된다. 이는 안전장치를 더 촘촘하게 만드는 것만으로는 막기 어려운 구조적 문제를 드러낸다. 방어가 개별 질문이 아니라 대화 전체에 걸친 질문의 누적과 상관 관계를 읽어야 한다는 신호이기 때문이다. 지식이 서로 얽혀 있다는 사실 자체가 모델의 능력인 동시에 취약점이라는 역설이 이 공격의 핵심이다.

기업 도입 관점에서 무엇을 다시 봐야 하나

이 결과는 상용 LLM을 실무에 얹은 조직에게 검토할 지점을 남긴다. 논문은 특정 제품을 지목하기보다 상용 가드레일 일반을 상대로 95퍼센트가 넘는 성공률을 보고하는데, 이는 안전장치의 존재만으로 안심하기 어렵다는 뜻으로 읽힌다. 국내에서도 고객 응대나 내부 지식 검색에 LLM을 붙이는 사례가 늘고 있는데, 단발 프롬프트 검사에 의존하는 방어라면 무해한 질문을 여러 번 나눠 던지는 방식에 취약할 수 있다. 다만 이 공격은 연구 환경에서 보고된 결과이며, 실제 서비스에 얼마나 그대로 재현되는지, 그리고 로그를 대화 단위로 누적 감시하는 방어가 얼마나 효과적인지는 별도로 확인해야 한다. 공격의 자동화 가능성이 커진 만큼, 방어도 문장 단위에서 대화 단위로 시야를 넓혀야 한다는 방향은 분명해 보인다.

남는 질문은 방어의 다음 수에 있다

트로이 지식 논문은 취약점을 날카롭게 드러냈지만, 열린 질문도 남는다. 나무 구조로 질문을 엮어 무해한 답을 조립한다는 발상이 얼마나 넓은 범주의 금지된 목표에서 성립하는지, 그리고 대화 전체의 상관 관계를 읽는 방어가 실제로 이 공격을 얼마나 눌러낼 수 있는지는 논문이 열어둔 다음 과제다. 95퍼센트가 넘는 성공률은 특정 실험 조건에서의 값이므로, 방어 기법이 함께 진화하면 그 수치가 어떻게 바뀌는지도 지켜볼 대목이다. 그럼에도 위험을 한 문장이 아니라 지식의 연결망에서 찾는다는 이 논문의 시각은, LLM 안전을 프롬프트 필터링에서 대화 맥락의 이해로 옮기라는 문제 제기로서 분명한 무게를 지닌다.

참고: IBM Research · The Trojan Knowledge (ICML 2026)