프롬프트 인젝션을 '역할 혼동(role confusion)'으로 재정의한 연구가 2026년 ICML 학회에서 발표됐습니다. MIT의 Dylan Hadfield-Menell 부교수와 독립 연구자 Charles Ye, Jasmine Cui는 LLM이 보안 태그가 아니라 글쓰기 스타일로 역할을 식별한다는 약점을 파고든 'CoT 위조(CoT Forgery)' 기법으로 공격 성공률을 거의 0에서 약 60%까지 끌어올렸습니다. ASAP은 더레지스터 1차 보도와 연구진 공개 자료를 바탕으로 직답형으로 정리합니다.

역할 혼동이란 무엇인가

역할 혼동은 LLM이 입력의 역할을 안전한 표식이 아니라 글쓰기 스타일로 추정하기 때문에 생기는 구조적 취약점입니다. 연구진은 모델이 '시스템', '사용자', '사고 과정' 같은 역할을 명시적 태그가 아니라 문체로 구분하는 경향을 지적했습니다. 스타일과 실제 역할 지정이 어긋나도록 의도적으로 꾸미면, 모델은 사용자 입력을 더 높은 권한의 지시로 오인합니다.

CoT 위조는 어떻게 작동하나

CoT 위조는 사용자 프롬프트 안에 모델의 간결한 사고 모드 문체를 흉내 내 심어 넣는 기법입니다. 연구진은 OpenAI의 사고 모드(<think>)에서 나타나는 짧고 단정적인 문체를 사용자 입력 영역 안에서 위조했고, 모델은 그 문장을 자신의 내부 추론으로 착각했습니다. 이 한 가지 조작으로 테스트한 모델들에서 공격 성공률이 거의 0에서 약 60%로 올랐습니다.

무엇을 실증했나

CoT 위조 기법은 2025년 OpenAI가 주최한 캐글(Kaggle) 레드팀 대회에서 우승하며 효과를 입증했습니다. 연구진은 사람이 직접 수행하는 레드팀 공격이 벤치마크에서 성공률 100%에 가깝다는 점과 비교해, 자동화된 단일 기법으로 60% 수준에 도달한 것의 의미를 강조했습니다. 연구는 'Prompt Injection as Role Confusion'이라는 제목으로 ICML 2026 논문집에 실렸고, 공개 블로그(role-confusion.github.io)에서 자료를 제공합니다.

왜 중요한가

이 연구의 결론은 진짜 역할 인식 능력이 없는 한 인젝션 방어가 '두더지 잡기'로 남는다는 것입니다. 연구진은 "LLM이 진정한 역할 지각을 획득하지 못하면 인젝션 방어는 영원한 두더지 잡기 게임으로 남을 것"이라고 적었습니다. 방어의 초점이 개별 우회 패턴 차단에서, 모델이 입력의 역할을 문체가 아니라 신뢰 가능한 경계로 판별하도록 만드는 근본 설계로 옮겨가야 한다는 뜻입니다.

정리

역할 혼동 연구는 프롬프트 인젝션이 영리한 우회 문구의 문제가 아니라 LLM이 역할을 문체로 판단하는 근본 설계의 문제임을 보여줍니다. 방어가 패턴 차단에 머무는 한 공격은 계속 새 형태로 돌아오며, 진짜 역할 지각이 다음 과제로 떠오르고 있습니다.

출처: 더레지스터 보도(2026-06-30) · 'Prompt Injection as Role Confusion'(ICML 2026, role-confusion.github.io).