확률 0.96으로 틀리는 모델을 잡아내는 법: DUD는 FFN과 어텐션을 갈라 재서 할루에벌 AUROC 0.9487을 냈다

난징항공항천대학교 연구진은 2026년 8월 4일 공개한 논문 DUD에서 트랜스포머의 잔차 스트림 업데이트를 하나로 합치지 않고 피드포워드망(FFN)과 어텐션의 기여로 갈라 재는 방식으로 대형 언어모델의 불확실성을 측정했고, 라마-3.1-8B 인스트럭트의 할루에벌 과제에서 AUROC 0.9487을 기록했다. 같은 표에서 비교 대상인 ICR 프로브는 0.7703, 시맨틱 엔트로피는 0.7745였다. 논문의 핵심 관찰은 모델이 출력 확률 0.96으로 확신하면서 틀리고 확률 0.35로 머뭇거리면서 맞히는 사례가 존재하며, 그 어긋남이 내부 모듈의 복원력에서는 뚜렷하게 보인다는 것이다. ASAP은 이 논문의 측정 방식과 표 수치를 정리한 뒤, 이 접근이 실무에서 어디까지 쓸 수 있고 어디서 막히는지를 함께 짚는다.

잔차 스트림을 한 덩어리로 보던 관행을 두 갈래로 쪼갰다

트랜스포머의 각 층은 어텐션과 FFN이 계산한 값을 잔차 스트림에 더해 나가는 구조이고, 기존의 기계론적 불확실성 측정법은 그 업데이트의 크기나 방향을 층별로 합산해서 신호로 삼았다. 논문은 이 합산이 서로 성격이 다른 두 작업을 뭉갠다고 지적한다. FFN은 파라미터에 저장된 기억을 꺼내는 쪽이고 어텐션은 문맥을 골라 오는 쪽이므로, 둘이 서로 다른 답을 밀 때 생기는 기억과 문맥의 어긋남이 합산 과정에서 사라진다는 것이다.

DUD가 쓴 방법은 인과 추적이다. 먼저 정상 실행과 입력을 오염시킨 실행을 각각 돌려 기준선을 잡고, 그다음 오염된 실행에서 FFN 또는 어텐션 중 한쪽의 활성값만 정상 실행의 값으로 되돌려 넣는다. 이때 출력이 얼마나 복구되는지가 그 모듈이 해당 예측을 실제로 떠받치고 있었는지를 알려준다. 두 모듈에 대해 이 작업을 층마다 반복하면 층 수의 두 배 길이를 가진 두 갈래 동역학 프로파일이 나오고, DUD 프로브는 이 벡터를 입력으로 정답 여부를 예측하도록 학습된다.

측정 대상이 확률이 아니라는 점이 이 설계의 출발점이다. 출력 확률은 모델이 최종적으로 내놓은 표면 신호이고, 복원력은 그 답이 내부에서 어떤 지지를 받고 있었는지에 대한 신호다. 논문은 후자를 능동적 기계론적 진단이라고 부른다.

확률이 높은데 틀리고 확률이 낮은데 맞는 구간이 실제로 있다

논문이 제시한 사례 하나는 스틱 체조에 대한 질문에 모델이 일본이라고 답한 장면이다. 출력 확률은 약 0.96으로 매우 높았지만 DUD 프로브가 매긴 충실도 점수는 0.04에 그쳤다. 내부의 기계론적 지지가 무너진 상태에서 표면 분포만 매끄러웠던 경우이며, 논문은 이를 완고한 오류라고 이름 붙였다.

반대 방향의 사례도 함께 제시됐다. 물고기와 쌀의 고장이라는 별칭을 묻는 질문에서 모델의 확률은 약 0.35로 낮았지만 답은 맞았다. 학습 데이터에 드물게 등장하는 개체여서 확률이 낮았을 뿐 내부 지지는 있었던 경우로, 논문은 이 두 방향을 합쳐 확신 역전이라고 부른다.

이 어긋남은 사례 두 건이 아니라 분포로도 확인됐다. 논문은 어텐션과 FFN의 안정성 이탈 여부로 표본을 네 사분면으로 나눴고, 두 모듈 모두 안정적인 사분면의 오답률은 16.8%였던 반면 두 모듈 모두 이탈한 사분면에서는 72.0%로 올랐다. 내부 불안정이 실패의 결정적 예측자라는 주장의 근거가 이 두 숫자다.

세 모델 네 데이터셋에서 표를 채운 방식

실험 대상은 라마-3.1-8B 인스트럭트, 큐원2.5-7B 인스트럭트, 젬마-2-9B IT 세 가지 공개 모델이고, 과제는 할루에벌, 스쿼드, 트리비아QA, 핫팟QA 네 가지다. 정답 여부는 ROUGE-L 점수 0.5를 기준으로 라벨링했고, 각 데이터셋을 8대 2로 나눠 학습과 평가에 썼으며, DUD 프로브는 5겹 교차검증으로 학습했다. 비교군에는 퍼플렉서티와 길이 정규화 엔트로피, 시맨틱 엔트로피, SAR, LLM-Check 같은 학습이 필요 없는 방법과 SAPLMA, SEP, ICR 프로브 같은 학습형 프로브가 모두 들어갔다.

AUROC 기준 결과는 세 모델 모두에서 DUD가 가장 높았다. 라마-3.1-8B에서 할루에벌 0.9487, 스쿼드 0.8959, 핫팟QA 0.8579, 트리비아QA 0.8031이고, 큐원2.5-7B에서는 각각 0.8642, 0.8204, 0.8435, 0.8252, 젬마-2-9B에서는 0.8747, 0.8218, 0.8597, 0.8199이다. 같은 표에서 학습형 프로브 중 가장 강한 ICR 프로브는 라마 할루에벌에서 0.7703, 큐원 할루에벌에서 0.8144를 기록했다.

논문이 강조한 두 개의 상대 수치는 라마 할루에벌에서 시맨틱 엔트로피 대비 17.4% 개선, 큐원2.5에서 ICR 프로브 대비 5.0% 개선이다. 앞의 숫자는 표면 확률보다 내부 신호가 낫다는 주장의 근거이고, 뒤의 숫자는 내부 신호를 합산하지 말고 갈라 봐야 한다는 주장의 근거다. 두 주장이 서로 다른 비교군에 걸려 있다는 점을 구분해서 읽어야 한다.

보정 오차와 거절 효율은 운영에 더 가까운 지표다

AUROC와 별도로 논문은 큐원2.5-7B에서 기대 보정 오차(ECE)를 함께 보고했다. 부록 표 기준으로 핫팟QA에서 DUD 프로브는 0.0039를 기록해 ICR 프로브의 0.0138, SAPLMA의 0.0675, SEP의 0.0979보다 낮았고, 할루에벌에서는 0.0425로 ICR 프로브의 0.0798과 SAPLMA의 0.0997보다 낮았다. 보정 오차가 낮다는 것은 프로브가 내놓은 점수를 정답일 확률로 그대로 해석해도 크게 어긋나지 않는다는 뜻이다.

한 가지 어긋남은 짚어 둘 필요가 있다. 본문 설명 문단은 핫팟QA에서 SEP를 0.2879, SAPLMA를 0.1675로 적었지만 같은 절이 참조하는 표 6의 값은 각각 0.0979와 0.0675다. 인용할 때 기준으로 삼아야 할 값은 표 쪽이며, DUD가 모든 데이터셋에서 가장 낮았다는 결론 자체는 두 기술 중 어느 쪽을 따라도 바뀌지 않는다.

거절 효율을 재는 PRR도 같은 방향이었다. 할루에벌에서 DUD 프로브는 0.6346, ICR 프로브는 0.4989, SAPLMA는 0.4414, SEP는 0.3927이었고 나머지 세 데이터셋에서도 DUD가 가장 높았다. 불확실성이 높은 답을 걸러냈을 때 남는 답의 정확도가 얼마나 개선되는지를 재는 지표이므로, 사람 검토로 넘길 답을 고르는 운영 설계와 직접 연결된다.

라벨 기준을 바꿔도 순서가 유지되는지도 확인됐다. ROUGE-L 임계값을 0.3, 0.5, 0.7로 바꿔 가며 큐원2.5-7B에서 다시 잰 결과 DUD는 네 데이터셋 모든 조건에서 1위였고, 가장 엄격한 0.7 조건에서도 0.8135에서 0.8636 사이를 유지했다. 같은 조건에서 SAPLMA는 0.7031에서 0.7348 사이였다.

어텐션만, FFN만으로 갈라 본 절제 실험

라마-3.1-8B의 절제 실험은 두 갈래를 나눈 설계가 실제로 값을 하는지 확인한다. 할루에벌 기준으로 어텐션만 쓴 프로브는 0.9144, FFN만 쓴 프로브는 0.8968이었고, 둘을 합친 전체 구성은 0.9487이었다. 스쿼드에서는 어텐션만 0.8349, FFN만 0.8511, 전체 0.8959로 두 갈래의 우열이 데이터셋에 따라 뒤집혔다.

이 뒤집힘이 논문 주장의 실질이다. 사실 오류는 FFN 쪽이 무너지면서 드러나고 문맥 처리 실패는 어텐션 쪽에서 드러난다면, 어느 한쪽만 보는 측정기는 과제 유형이 바뀔 때마다 성능이 흔들린다. 두 갈래를 함께 넣었을 때 모든 데이터셋에서 최고값이 나온 결과가 이 논리를 뒷받침한다.

층 그룹 실험은 다른 함정을 짚는다. 초기층 1에서 10을 빼면 할루에벌 성능이 0.95에서 0.85로 떨어졌고, 중간층 11에서 21을 빼면 0.8893, 심층 22에서 32를 빼면 0.9001이었다. 어느 한 층이 불확실성의 황금 구간이라기보다 초기 인코딩부터 최종 사영까지 이어지는 궤적 전체가 필요하다는 뜻이며, 특정 층의 은닉 상태만 뽑아 쓰는 기존 프로브 설계와 갈라지는 지점이다.

학습한 데이터셋 밖으로 나가도 버텼다

전이 실험에서 DUD 프로브는 트리비아QA로 학습해 스쿼드에서 평가했을 때 AUROC 0.868을 유지했고, 같은 조건에서 ICR 프로브는 0.613이었다. 트리비아QA에서 할루에벌로 옮긴 경우는 0.930으로 오히려 같은 도메인 성능에 근접했다. 논문은 전체적으로 DUD의 열화가 5% 미만인 반면 비교군은 15%에서 20%까지 떨어진다고 적었다.

이 결과의 해석은 프로브가 무엇을 배웠는지에 달려 있다. 데이터셋 고유의 표현 패턴을 외운 프로브라면 도메인이 바뀔 때 무너지지만, FFN의 취약함처럼 과제와 무관한 기계론적 서명을 배웠다면 옮겨도 버틴다. 전이 성능이 도메인 내 성능에 근접했다는 관측은 후자 쪽 증거에 가깝다.

다만 전이가 되는 범위는 논문이 실험한 범위까지다. 네 과제 모두 지식 집약형 질의응답 계열이고, 코드 생성이나 다단계 도구 사용, 장문 요약처럼 실패 양상이 다른 과제는 실험에 포함되지 않았다.

이 방법을 쓸 수 있는 곳과 쓸 수 없는 곳

가장 큰 제약은 논문이 직접 적었다. DUD는 내부 활성값 접근과 인과 개입이 필요한 화이트박스 방법이므로 API로만 접근하는 폐쇄형 모델에는 적용할 수 없다. GPT 계열이나 클로드를 API로 부르는 서비스는 이 방식으로 자사 응답의 불확실성을 잴 수 없고, 가중치를 직접 들고 있는 팀만 후보가 된다. 오픈 웨이트 모델을 자체 호스팅하는 국내 기업이 상대적으로 유리한 자리에 있다는 뜻이기도 하다.

두 번째 제약은 비용이다. 인과 추적은 정상 실행, 오염 실행, 패치 실행으로 여러 번의 순전파를 요구하므로 로짓 기반 방법보다 추론 지연이 늘어난다. 논문의 실험은 A100 80GB 4장을 쓰는 서버에서 진행됐고 총 계산 예산은 약 800에서 1,000 GPU 시간이었다. 저자들이 밝힌 후속 과제도 이 기계론적 신호를 더 가벼운 탐지기로 증류해 실시간 감시를 가능하게 하는 것이다.

세 번째는 라벨의 문제다. 정답 여부를 ROUGE-L로 판정한 설계는 표현이 다르지만 뜻이 같은 답을 오답으로 밀어 넣을 수 있다. 논문은 임계값 세 가지와 정확 일치, BERTScore로 민감도 분석을 붙여 이 위험을 줄였지만, 자유 형식 생성에서 정답을 정의하는 문제 자체가 사라지지는 않는다. 프로브를 데이터셋마다 학습시켜야 한다는 점도 남는다. 전이가 잘 되더라도 새로운 도메인에 붙일 때는 라벨링된 표본과 학습 절차가 한 번은 필요하다.

AUROC가 높다고 임계값이 정해지는 것은 아니다

숫자를 신중하게 읽어야 할 지점은 지표의 성격에 있다. AUROC는 임계값과 무관하게 순위를 얼마나 잘 매기는지를 재는 지표이므로, 0.9487이라는 값은 어떤 기준선에서 몇 퍼센트를 걸러낼지 알려주지 않는다. 운영에 붙이려면 어느 점수 아래를 사람 검토로 보낼지 정해야 하고, 그 결정은 놓친 오류의 비용과 불필요한 검토의 비용을 저울질하는 작업이다. 이 논문에서 그 저울질에 가장 직접 쓸 수 있는 숫자는 AUROC가 아니라 PRR 0.6346과 ECE 0.0039 쪽이다.

비교의 공정성도 함께 봐야 한다. DUD 프로브는 학습형 방법이므로 학습이 필요 없는 시맨틱 엔트로피나 퍼플렉서티와 같은 조건에 있지 않다. 논문은 모든 비교군에 동일한 데이터 분할을 적용했다고 밝혔고 학습형 프로브인 SAPLMA, SEP, ICR을 함께 세워 이 문제를 다뤘지만, 17.4%라는 개선폭을 인용할 때는 그 상대가 학습 없이 돌아가는 방법이라는 조건이 따라붙는다.

마지막으로 규모다. 실험에 쓰인 모델은 7B에서 9B 사이의 세 가지이며, 논문은 큐원2.5의 3B와 14B로 규모 비교를 추가해 안정적인 성능을 확인했다고 적었다. 수백 B급 모델이나 추론 특화 모델에서 같은 층 패턴이 유지되는지는 이 논문이 답한 범위 밖이다.

불확실성 측정이 지금 다시 중요해진 이유

DUD가 겨냥한 문제는 2026년 들어 AI 시스템 설계가 바뀌면서 다시 커진 문제다. 논문의 위치를 이해하려면 최근 시스템 설계의 변화를 함께 봐야 한다. 모델 하나가 답을 내고 사람이 읽던 구조에서, 여러 에이전트가 서로의 출력을 입력으로 받아 이어 가는 구조로 옮겨 가면서 틀린 답이 조용히 다음 단계로 전달되는 경로가 늘었다. 이런 구조에서 필요한 것은 모델이 더 잘 맞히는 것만이 아니라, 틀렸을 때 그 사실을 자기 파이프라인 안에서 조기에 알아채는 장치다.

기존에 쓰이던 신호가 출력 확률이었다는 점이 문제의 핵심이다. 확률 0.96으로 틀리는 사례가 존재하는 한, 확률 임계값으로 위험한 답을 거르는 설계는 가장 위험한 종류의 오류, 즉 자신 있게 틀린 답을 그대로 통과시킨다. DUD가 겨냥한 자리가 정확히 여기이고, 논문이 사분면 실험으로 보인 16.8%와 72.0%의 격차가 그 자리에 신호가 실제로 존재한다는 증거다.

동시에 이 방향의 한계도 분명하다. 화이트박스 접근이 필요하다는 조건은 이런 안전 장치를 만들 수 있는 주체를 가중치를 가진 쪽으로 제한하며, API로만 모델을 쓰는 대다수 서비스는 여전히 표면 신호와 외부 검증에 의존해야 한다. 모델을 직접 운영하는 팀에게는 새로운 도구가 하나 늘었고, 그렇지 않은 팀에게는 자체 호스팅을 검토할 이유가 하나 늘었다는 것이 이 논문의 실무적 요약이다.

출처: 난징항공항천대학교 등 연구진의 arXiv 논문 DUD: Decoupled Update Dynamics for Reliable Uncertainty Quantification in Large Language Models(arXiv:2608.03411v1, 2026년 8월 4일) 기반 ASAP 정리