4비트 모델이 자기 원본을 이겼다: QAH, 9개 벤치마크 중 7개 역전

Multiverse Computing이 2026년 8월 21일 arXiv에 공개한 논문 2608.20953은 GPT-OSS 120B를 60B로 압축한 뒤 MXFP4 4비트로 양자화한 모델이 자신의 bfloat16 원본을 9개 벤치마크 중 7개에서 앞섰다고 보고했다. 'Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs'는 Bakbergen Ryskulov, Iker García-Ferrero, David Montero, David Jansen, Ali Hashemi, Jezabel R. Garcia, Antonio Tiene, Román Orús가 함께 썼다. 가중치 메모리는 약 4배 줄었고 파라미터는 교사 모델의 절반이다. 결과 모델은 Hypernova-60B라는 이름으로 오픈웨이트 공개됐다. ASAP은 논문 초록과 저자들의 기술 블로그를 1차 출처로 이 결과를 정리한다.

압축한 다음 회복시키는 것이 이미 표준이다

구조 압축과 4비트 양자화를 차례로 적용한 뒤 회복(healing) 단계를 붙이는 파이프라인은 gpt-oss와 NVIDIA Nemotron 계열, Hypernova 60B 같은 2026년 오픈웨이트 릴리스가 공통으로 채택한 방식이다. 첫 단계는 레이어와 헤드, 뉴런을 덜어내 파라미터 수를 줄이고, 두 번째 단계는 남은 가중치를 4비트로 낮춰 메모리와 연산을 다시 줄인다. 두 단계는 각각 크게 절약하지만 합쳐지면 사람들이 실제로 원하는 능력, 즉 추론과 수학 문제 해결, 코드 생성을 체계적으로 손상시킨다. 그래서 실전 배포 파이프라인은 모델을 서비스에 올리기 전에 회복 단계를 반드시 끼워 넣는다.

논문이 겨냥한 빈틈은 여기에 있다. 압축과 양자화를 모두 거친 모델을 어떻게 회복시킬 것인가라는 질문에 대해 분야가 합의한 답이 없었다. 방법들 사이의 차이는 전적으로 마지막 회복 단계 하나에 몰려 있는데, 그 단계가 얼마나 잘 작동하는지 자체가 제대로 검증된 적이 없다는 것이 저자들의 출발점이다.

교사를 압축 전 원본으로 되돌린 한 줄의 변경

QAH가 기존 방식과 갈라지는 지점은 교사 모델을 압축 전 원본인 GPT-OSS 120B로 되돌린 단 하나의 변경이며, 논문 2608.20953은 이 변경만으로 9개 벤치마크 중 7개가 뒤집혔다고 보고한다. 기존 표준인 양자화 인지 학습(QAT)은 순전파에 가짜 양자화 연산자를 끼우고 과제 손실로 미세조정을 계속한다. 이미 비싼 다단계 후학습, 즉 지도 미세조정과 RLHF와 에이전트 튜닝을 더 시끄럽고 정밀도가 낮은 순전파로 다시 돌린다는 뜻이다.

대안인 양자화 인지 증류(QAD)는 그 역사를 다시 돌리는 대신 동결된 전정밀도 교사를 출력 로짓의 KL 발산 손실로 학생에게 증류한다. 문제는 구조 압축이 끼어드는 순간이다. 비트 수만 줄었다면 정확히 같은 모델의 전정밀도 판본이 교사로 존재하지만, 레이어와 헤드가 잘려 나간 뒤에는 그 작은 구조를 독립적으로 학습시킨 전정밀도 모델이 세상에 없다. 유일한 후보는 회복 과정을 거친 bfloat16 체크포인트인데, 그 체크포인트 자체가 원본의 증류 근사다. 여기서 증류하면 학생의 정확도는 그 근사의 천장에 묶인다.

QAH는 천장을 없애는 방식으로 이 문제를 푼다. 교사와 학생은 구조를 공유하지도 않는다. 교사는 원본 크기에 전정밀도이고 학생은 절반 크기에 MXFP4다. 교사의 출력 분포는 구조와 무관하기 때문에 크기와 형태가 달라도 전달을 막지 않는다. 학생은 정답 레이블을 한 번도 보지 않고 오직 교사의 출력 분포만 KL 발산으로 맞춘다. 32k 토큰까지 포함하는 장문맥 회복 코퍼스를 감당하기 위해서는 동반 논문의 청크 단위 KL 손실을 재사용했다. 어휘 크기와 시퀀스 길이를 곱한 격자를 통째로 메모리에 올리지 않고 시퀀스를 한 조각씩 계산하는 방식이다.

9개 벤치마크 중 7개, 가장 크게 오른 곳이 어디인가

QAH를 거친 60B MXFP4 모델은 장문맥 추론 벤치마크 AA-LCR에서 42.7점을 받아 같은 구조의 bfloat16 체크포인트 35.3점을 앞섰고, 9개 벤치마크 중 7개에서 같은 역전이 나왔다. 수학 벤치마크 AIME 2025에서 76.3 대 70.7로 5.6점, 에이전트 코딩 Aider에서 40.9 대 38.2로 2.7점, 도구 사용 τ²-bench에서 61.7 대 59.4로 2.3점, 과학 GPQA Diamond에서 67.4 대 65.7로 1.7점, 지시 따르기 IFBench에서 59.9 대 58.4로 1.5점, LiveCodeBench에서 66.5 대 65.5로 1.0점 앞섰다. 뒤진 곳은 MMLU-Pro 73.8 대 74.0으로 0.2점, SciCode 34.2 대 35.6으로 1.4점, 두 곳뿐이다.

교사와의 비교도 눈여겨볼 만하다. 파라미터가 절반이고 가중치 메모리가 약 4분의 1인 상태에서 QAH 모델은 LiveCodeBench에서 66.5 대 66.0으로 120B 교사를 넘어섰고, GPQA Diamond에서는 67.4 대 69.0으로 1.6점 차까지 좁혔다. 교사와 가장 크게 벌어진 곳은 AA-LCR로, 압축으로 잃은 용량을 되찾기가 본질적으로 가장 어려운 극단적 장문맥 과제다.

어느 벤치마크가 올랐고 어느 쪽이 내렸는지를 함께 놓으면 방향성이 읽힌다. 가장 크게 오른 두 개는 장문맥 추론과 수학으로, 압축이 가장 심하게 망가뜨리는 능력이다. 반면 뒤진 두 개는 지식 회상 성격이 강한 MMLU-Pro와 좁은 범위의 과학 코딩 SciCode다. 로짓 분포를 맞추는 증류는 모델이 문제를 푸는 방식, 즉 행동을 옮기는 데 강하고, 파라미터에 저장된 사실 자체를 되살리는 데는 약하다는 해석이 여기에 들어맞는다. 잘려 나간 뉴런이 담고 있던 지식은 교사의 출력 분포만으로 복원되지 않는다.

QAT가 무너지는 자리에서 QAH는 멈춰 선다

QAH는 QAT보다 약 7배 빠른 100스텝에서 최고점 54.9에 도달했고, QAT는 700스텝 부근에서 54.6에 오른 뒤 1,200스텝까지 19점 가까이 잃었다. 손실 함수의 효과만 분리하기 위해 저자들은 GPT-OSS 9B를 MXFP4로 양자화하고 MMLU-Pro와 LiveCodeBench, GPQA Diamond 세 벤치마크 평균을 학습 진행에 따라 추적했다. 최고점만 보면 두 방법은 사실상 동률이다. 갈라지는 곳은 도달 속도와 그 이후다. QAH는 최고점 도달 뒤 남은 학습 내내 그 지점에서 약 2점 안쪽에 머문 반면, QAT는 정점을 지나자마자 급격히 무너졌다.

이 차이가 정확도 문제가 아니라 배포 문제라는 점이 중요하다. QAT 체크포인트를 쓰려면 별도 신호로 조기 종료 지점을 잡아야 하고, 그 판단이 틀리면 이미 열화가 시작된 모델을 서비스에 올리게 된다. 반면 충분히 학습된 QAH 체크포인트는 드리프트가 없으므로 그냥 서빙해도 된다. 저자들은 그 이유를 손실 함수 자체에서 찾는다. KL 증류는 학생을 고정된 교사 분포에 묶기 때문에 학생이 교사를 따라잡은 뒤에는 더 움직일 이유가 없다. 교차 엔트로피 과제 손실은 정답 레이블 쪽으로 무한히 밀기 때문에 원본에서 물려받은 능력을 결국 갉아먹는다.

릴리스 파이프라인 관점에서 이 속성은 0.3점의 최고점 차이보다 값이 크다. 사람의 판단이 하나 빠지기 때문이다. 모델을 반복해서 찍어내야 하는 조직일수록 매 릴리스마다 정점을 정확히 포착해야 하는 절차는 사고가 나는 지점이 된다.

양자화가 세금에서 두 번째 수업으로 바뀐다

QAH는 4배 적은 가중치 메모리를 쓰면서 정확도까지 올린다는 점에서, 양자화를 효율의 대가가 아니라 두 번째 학습 기회로 다시 정의한다. 저자들의 설명을 그대로 옮기면, QAH 아래에서 양자화 단계는 회복이 끝난 뒤에 적용되는 손실성 후처리가 아니다. 원본 교사를 상대로 한 두 번째 증류 패스이며, bfloat16 체크포인트는 받아본 적 없는 감독 신호다. 4비트 학생은 양자화로 잃은 정보를 보상하는 것이 아니라 앞선 회복 단계가 시간과 데이터 부족으로 전달하지 못한 정보를 새로 줍는다.

여기서 헤드라인을 정확히 읽을 필요가 있다. "4비트가 전정밀도를 이겼다"는 문장은 양자화가 모델을 개선한다는 뜻이 아니다. 비교 대상인 60B bfloat16 체크포인트가 애초에 덜 학습된 상태였고, QAH가 그 부족분을 마저 채웠다는 뜻에 가깝다. 저자들도 이 체크포인트를 "이 구조에 존재하는 최선의 전정밀도 판본"이라고 표현하며 독립 학습 모델이 아님을 명시한다. 즉 이 결과가 뒤집은 것은 물리 법칙이 아니라 압축 후 회복 단계가 충분했다는 업계의 암묵적 가정이다.

국내 팀이 이 결과를 쓸 수 있는 자리

가중치 메모리가 4배 줄고 파라미터가 절반이 된다는 조합은 GPU 한 장에 올릴 수 있는 모델의 급을 한 단계 올린다. 토큰당 연산은 절반 수준으로 내려가며, bfloat16으로 배포되는 모델 계열을 기준으로 하면 파라미터 감소와 정밀도 감소를 합쳐 토큰당 연산이 약 8배까지 줄어든다. 자체 서버로 모델을 돌려야 하는 조직에서 이 수치는 장비 등급과 대수를 결정하는 숫자다.

국내 맥락에서 이 기법이 실제로 걸리는 자리는 두 곳이다. 하나는 데이터 반출이 막혀 자체 호스팅이 강제된 의료, 금융, 공공 조직이다. 이들은 지금까지 성능을 상당히 포기하고 소형 모델을 쓰거나 도입을 미뤄왔는데, 압축과 양자화 이후에도 원본급 성능을 유지하는 회복 레시피가 있다면 선택지의 폭이 달라진다. 다른 하나는 온디바이스와 엣지다. 4비트 모델의 정확도 손실이 도입을 막는 요인이었다면 그 전제 자체가 재검토 대상이 된다.

다만 전제 조건이 하나 붙는다. QAH는 압축 전 원본 모델에 접근할 수 있어야 성립한다. 오픈웨이트 생태계에서는 gpt-oss 120B처럼 원본을 내려받을 수 있으므로 문제가 없지만, 가중치가 공개되지 않은 프론티어 모델에는 적용할 방법이 없다. 이 기법은 구조적으로 오픈웨이트 전용이며, 그래서 오픈웨이트 모델을 압축해 자체 배포하려는 팀에 정확히 맞는 도구다.

이 결과를 일반화하기 전에

비교 대상은 독립적으로 학습된 60B 모델이 아니라 GPT-OSS 120B에서 증류로 회복한 bfloat16 체크포인트 하나이며, 벤치마크는 9개에 그친다. 주요 결과 전체가 단일 파이프라인에서 나왔고, QAT와의 정면 비교는 별도의 GPT-OSS 9B 실험에서 세 벤치마크 평균으로 이뤄졌다. 다른 모델 계열이나 다른 압축률에서 같은 역전이 재현되는지는 아직 확인되지 않았다.

비용 계산에도 빠진 항목이 있다. 100스텝 대 700스텝이라는 비교는 학생 학습 스텝만 센 값이다. QAH는 원본 120B 교사의 로짓을 미리 계산해 두는 오프라인 패스를 전제하는데, 32k 토큰까지 포함하는 코퍼스에 대해 그 작업을 수행하는 비용은 스텝 수에 잡히지 않는다. 실제 총비용을 비교하려면 교사 로짓 사전 계산과 저장 비용을 함께 놓아야 한다.

마지막으로 논문 초록이 스스로 밝힌 항목 하나가 남는다. 저자들은 분산 학습 백엔드에 따라 크고 재현 가능한 품질 격차가 있었다고 보고한다. 같은 레시피를 다른 인프라에서 돌렸을 때 결과가 달라진다는 뜻이며, 회복 단계의 성패가 손실 함수뿐 아니라 학습 스택에도 걸려 있음을 시사한다. 저자들이 논문의 목표를 "다주 단위 하이퍼파라미터 탐색 없이 배포 가능한 레시피"로 규정한 만큼, 이 격차가 실제로 얼마나 통제 가능한지가 다음 검증 지점이다.

출처: Bakbergen Ryskulov 외, 'Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs'(arXiv:2608.20953, 2026년 8월 21일) 및 Multiverse Computing 기술 블로그(2026년 8월 25일) 기반 ASAP 정리.