루브릭 드롭아웃: 채점 기준을 매 스텝 무작위로 지웠더니 22점 붕괴가 멈췄다

스케일 AI 연구진은 2026년 8월 12일 arXiv에 공개한 논문 2608.11669와 2026년 9월 10일 스케일 랩스 블로그에서, 강화학습 보상으로 쓰는 루브릭의 채점 기준 일부를 매 스텝 무작위로 빼는 루브릭 드롭아웃(Rubric Dropout)을 제안했다. Qwen3-8B를 GRPO로 학습시킨 실험에서 훈련용 심판의 점수는 계속 올랐지만 더 강한 심판이 매긴 점수는 ResearchQA에서 정점 대비 22점, HealthBench-Hard에서 3점 떨어졌고, 드롭아웃은 같은 지점에서 각각 최대 7.0점과 2.0점을 되돌렸다. 추가 심판 호출도 없고 코드는 한 줄이다. ASAP은 논문과 블로그에 적힌 수치만으로 이 방법이 무엇을 증명했고 저자들이 어디를 직접 비워 뒀는지 정리한다.

심판을 둘로 늘렸을 때만 보이는 붕괴

정답이 하나로 정해지지 않는 과제에서 표준이 된 학습 방식은 루브릭을 보상으로 쓰는 것이다. 프롬프트마다 채점 기준 목록을 적고, LLM 심판이 기준별로 충족 여부를 매기고, 가중 충족 비율을 보상으로 삼는다. 의료 상담이나 연구 분야 설명처럼 검증 가능한 정답이 없는 영역에서 이 방식은 품질을 명시적이고 감사 가능한 형태로 만들어 준다는 이유로 널리 쓰인다.

문제는 그 루브릭이 품질의 대리 지표이면서 동시에 고정돼 있다는 점이다. 연구진은 Qwen3-8B를 RubricHub의 의료와 과학 루브릭으로 GRPO 학습시키면서, 학습에 쓰이지 않은 벤치마크를 심판 두 명에게 채점시켰다. 하나는 훈련에 쓴 gpt-4o-mini이고 다른 하나는 다른 모델 계열의 더 강한 심판 claude-sonnet-4-6이다. 훈련 심판의 점수는 72%까지 계속 올랐지만 강한 심판의 점수는 240스텝에서 정점을 찍고 내려갔다.

이 발산이 결정적인 근거다. 심판의 편향이 고정돼 있다면 곡선 전체가 위아래로 평행 이동할 뿐, 한 곡선이 오르는 동안 다른 곡선이 꺾여 내려가지는 않는다. 과학 쪽에서는 낙폭이 더 컸다. 골드 점수가 약 67%에서 600스텝까지 약 46%로 21.5점 내려갔다. 후반부 모델이 무엇을 배웠는지도 관찰됐다. 깔끔한 헤딩과 자리만 채운 목록으로 이뤄진 정형화된 뼈대를 생성해 루브릭의 구조 관련 기준을 만족시키면서 내용은 거의 담지 않는 답변이다.

한 줄 수정과 그 한 줄을 지탱하는 세 가지 규칙

루브릭 드롭아웃이 제안한 수정은 신경망 드롭아웃의 아이디어를 GRPO 보상 계산 쪽으로 그대로 옮긴 한 줄짜리 변경이다. 매 스텝 채점 기준 중 f 비율을 무작위로 빼고 남은 부분 루브릭으로만 보상을 계산한다. 어떤 기준도 연속해서 확보돼 있지 않으니 정책이 특정 기준 하나를 공략해 얻는 이득이 누적되지 않는다.

실전에서 이 한 줄을 성립시키는 것은 세 가지 규칙이다. 첫째, 마스크를 롤아웃 그룹 안에서 공유한다. GRPO는 같은 프롬프트에 대한 여러 롤아웃을 서로 비교하는데, 롤아웃마다 다른 부분 루브릭으로 채점하면 비교 자체가 무의미해진다. 마스크의 시드를 프롬프트 아이디와 스텝의 해시로 잡으면 워커 사이 통신 없이도 같은 프롬프트의 모든 롤아웃이 같은 부분 루브릭을 쓴다. 덤으로 보상 정규화 상수가 어드밴티지 계산에서 통째로 상쇄된다. 둘째, 안전 관련 기준은 보호 집합에 넣어 드롭아웃이 건드리지 않게 한다. 논문이 예로 든 것은 음의 가중치를 가진 함정 점검 항목이다. 셋째, 평가는 언제나 전체 루브릭으로 한다. 드롭아웃은 학습 시점의 교란일 뿐이고, 심판은 원래 한 번의 호출로 모든 기준을 매기므로 추가 호출 비용이 0이다.

표가 실제로 말하는 것: 정점은 같고 낙폭이 다르다

수치를 읽을 때 놓치기 쉬운 점은 드롭아웃이 모델을 더 똑똑하게 만들지 않았다는 사실이다. Qwen3-8B 메디컬에서 최고 체크포인트 점수는 기준선 31.2, 30% 드롭아웃 30.9, 50% 드롭아웃 31.5로 사실상 같다. 사이언스에서도 67.5와 69.4와 69.8로 붙어 있다. 세 실행 모두 200스텝 근처에서 비슷한 최댓값에 도달하고, 갈라지는 것은 그 뒤의 하강 구간이다.

400스텝에서 600스텝 사이 구간 평균으로 보면 차이가 드러난다. 메디컬 골드 점수는 기준선 28.2에서 29.2와 30.1로 올라 각각 1.0점과 2.0점을 벌었고, 사이언스는 50.4에서 56.8과 57.4로 6.4점과 7.0점을 벌었다. 두 영역 모두 11개 일치 체크포인트 전부에서 드롭아웃이 이겼고, 각 체크포인트는 동일한 1,000개 프롬프트로 채점됐다. 보상 해킹을 직접 재는 두 지표도 함께 내려갔다. 훈련 심판이 강한 심판보다 얼마나 후하게 줬는지를 재는 격차는 사이언스에서 37.2에서 29.5로, 훈련 심판이 인정했지만 강한 심판이 기각한 기준의 비율인 과대인정은 37.3에서 29.5로 내려갔다.

가장 중요한 방어선은 마지막 열이다. 학습 영역 안에서 전체 루브릭 보상은 세 실행 모두 97~98% 수준을 유지했다. 최적화하려던 보상을 희생해서 일반화를 산 것이 아니라는 뜻이다. Qwen3-4B에서도 같은 조리법을 그대로 적용해 구간 골드 점수가 0.7점에서 5.3점 올랐고, 블로그는 Qwen3-1.7B까지 확장한 결과를 함께 실었다. 여기서 일관된 패턴이 하나 나온다. 모델이 작을수록 최적 드롭아웃 비율이 작아진다. 약한 모델은 품질이 무엇인지 배우기 위해 루브릭이 더 많이 보여야 한다.

지연이 아니라 다른 궤적이라는 주장과 그 증거의 무게

당연히 나오는 반론은 드롭아웃이 그저 학습을 느리게 만들어 붕괴 시점을 뒤로 민 것 아니냐는 것이다. 연구진은 기준선과 50% 드롭아웃을 두 에폭 전부 돌려 답했다. 정점 이후 평가 전체를 평균하면 드롭아웃이 메디컬에서 2점, 사이언스에서 4.8점 앞서고 과대인정은 4~5점 낮으며, 두 에폭이 끝나는 지점에서도 격차가 곡선 어디에서나처럼 넓게 유지된다. 블로그는 한 걸음 더 나아가, 1에폭을 지난 뒤 같은 과대인정 수준에서 비교하면 메디컬의 13개 일치 지점 전부에서 드롭아웃이 더 높은 골드 점수를 유지한다고 적었다. 두 실행이 서로 다른 프론티어 위에 있다는 주장이다.

이 지점은 주의해서 읽어야 한다. 8월 12일자 논문 v1은 자기네 학습 지평에서 골드 대 과대인정 프론티어가 겹친다고 명시했고, 겹침 자체는 암묵적 정규화 해석에 유리한 관찰이라고 스스로 적었다. 한 달 뒤 블로그가 더 긴 지평의 결과로 프론티어 분리를 주장한 것이므로, 현재 공개된 자료에서 분리 주장을 뒷받침하는 것은 논문 본문이 아니라 블로그의 2에폭 실험이다. 학습 엔트로피는 분리 쪽 해석을 돕는다. 사이언스에서 기준선 정책의 엔트로피는 0.28로 붕괴하는데 50% 드롭아웃은 0.36을 유지하고, 격차는 두 번째 에폭에서 더 벌어진다.

반대 방향 처방이 실패했다는 사실이 이 방법의 진짜 논거다

이 논문에서 가장 설명력이 큰 결과는 드롭아웃의 성적이 아니라 그 반대 처방의 성적이다. 자연스러운 대안은 학습에 유용한 기준 쪽으로 가중치를 몰아 주는 재가중이고, 연구진은 POW3R을 논문의 기본값 그대로 이식해 돌렸다. 결과는 아무것도 하지 않은 것보다 나빴다. 분포 밖 골드 점수는 27.0%로 모든 실행 중 최저였고, 11개 일치 체크포인트 전부에서 기준선에 졌으며, 과대인정은 42.2%로 기준선 40.4%보다도 높았다.

두 처방의 방향이 정확히 반대라는 점이 핵심이다. 재가중은 최적화 압력을 지금 정책이 반응하는 기준으로 모으고, 드롭아웃은 압력을 기준 전체에 흩뿌린다. 압력을 모으는 쪽이 더 나쁜 결과를 낸다면, 관찰된 붕괴의 원인이 루브릭의 품질 부족이 아니라 압력의 집중이라는 해석이 힘을 얻는다. 논문이 제시한 분산 분석도 같은 방향을 가리킨다. 드롭아웃이 어드밴티지 기댓값은 그대로 두고 분산만 주입하는데, 그 분산은 어떤 응답의 어드밴티지가 가중치 큰 기준 하나에 크게 의존할 때 최대가 되고 응답이 그룹 전체보다 두루 나을 때 0에 가까워진다. 즉 노이즈가 공략 방향만 골라 느리게 만든다. 주입되는 분산이 f 곱하기 1 빼기 f에 비례해 f가 0.5일 때 최대가 된다는 사실과 8B의 최적값이 50%라는 실측이 맞아떨어지는 것도 이 해석에 붙는다. 다만 연구진 본인이 이 일치에 기대지 않는다고 적었고, 60%에서 효과가 무너지는 이유는 분산이 아니라 남은 부분 루브릭이 품질을 더는 담지 못하는 커버리지 문제일 수 있다고 덧붙였다.

확실한 것과 저자들이 직접 비워 둔 것

저자들이 스스로 적은 한계는 네 가지이며, 이 중 둘은 수치 해석을 실질적으로 제약한다. 첫째, 모든 실행이 단일 시드다. 표의 +1.0점처럼 작은 차이를 시드 변동과 분리할 근거가 없다는 뜻이고, 그래서 메디컬보다 여러 배 큰 사이언스의 +6.4점과 +7.0점이 더 믿을 만한 신호다. 둘째, 골드 심판은 정답이 아니다. claude-sonnet-4-6은 더 강한 대리 지표일 뿐이고, 훈련 심판과 다른 모델 계열이라는 점이 공유 편향을 줄여 주긴 하지만 없애지는 않는다. 셋째, 학습 영역 비용은 훈련 세트에서 측정됐다. 넷째, 실험 범위는 GRPO와 루브릭 방식 두 영역에 한정된다.

한 가지 더 짚을 것은 학습 데이터와 평가 데이터의 관계다. 사이언스 쪽 RubricHub-Science는 ResearchQA에서 만들어졌기 때문에, 평가는 학습에 한 번도 등장하지 않은 368개 프롬프트로만 채점됐다. 평가 루브릭이 학습 루브릭과 어떤 프롬프트에서도 기준을 공유하지 않는다는 점도 명시돼 있다. 이 처리를 하지 않았다면 사이언스의 큰 격차는 신뢰하기 어려웠을 것이므로, 이 실험에서 가장 공들인 부분은 방법이 아니라 평가 분리 설계라고 볼 만하다.

국내 팀이 루브릭 강화학습을 돌린다면 먼저 확인할 것

첫 번째 확인 사항은 분포 밖 평가를 채점하는 심판이 훈련에 쓰는 심판 하나뿐인지 여부이며, arXiv 2608.11669가 보여 준 붕괴는 심판 두 명을 붙이기 전에는 관측 자체가 불가능하다. 훈련 심판의 곡선만 보면 학습은 끝까지 성공한 것처럼 보이고, 실제로 그 구간에서 모델은 정형화된 껍데기를 생성하도록 학습되고 있었다. 사내에서 루브릭 강화학습을 돌리는 팀이라면 다른 모델 계열의 더 강한 심판으로 분포 밖 평가를 주기적으로 돌리는 것이 드롭아웃 도입보다 먼저다.

두 번째는 루브릭에 보호해야 할 기준이 무엇인지 미리 정해 두는 일이다. 드롭아웃은 채점 기준을 무작위로 빼는 방법이므로, 금칙이나 위험 회피처럼 빠지면 안 되는 항목을 보호 집합으로 분리하지 않은 채 적용하면 안전 기준을 간헐적으로 학습에서 제외하는 결과가 된다. 논문이 이 규칙을 방법 설명의 세 축 중 하나로 넣은 이유가 여기에 있다.

세 번째는 비교를 언제 끊을지 정하는 일이다. 보상 해킹은 학습이 길어질수록 커지므로 실행이 끝난 시점만 비교하면 효과와 학습 길이가 뒤섞인다. 연구진이 모든 교차 비교를 400에서 600스텝 구간 평균과 일치 체크포인트 승수로 보고한 것이 이 문제에 대한 답이다. 도입을 검토하는 쪽에서도 붕괴 시작점 뒤에 비교 구간을 두고 동일한 프롬프트 집합으로 채점하는 규약을 먼저 정해야 한다. 드롭아웃 비율 자체는 고민할 거리가 아니다. 30%에서 50% 사이는 모두 작동했고 60%에서만 무너졌으며, 한 번의 값싼 실험으로 정할 수 있는 하이퍼파라미터 하나다.

출처: Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL (Scale Labs, 2026년 9월 10일) · arXiv:2608.11669