프리즘ML이 278억 파라미터 모델을 5.9GB로 줄이고 벤치마크 98.2%를 지켰다

프리즘ML(PrismML)은 2026년 9월 17일 278억 파라미터 모델 본사이 2 27B(Bonsai 2 27B)를 5.9GB 용량으로 공개하면서, 원본 Qwen3.8 27B 성능의 98.2%를 유지했다고 밝혔다. 가중치를 -1과 0, +1 세 값만 쓰는 삼진 형식으로 바꾸고 FP16 그룹별 스케일링을 얹어 가중치당 실효 1.76비트를 달성했으며, 전체 용량은 전정밀도 대비 9배 넘게 줄었다. 벤치마크 20개를 묶은 집계 점수는 원본 85.4점에 대해 83.9점이고, 지시 따르기 항목에서는 82.66점으로 원본 81.25점을 앞섰다. 라이선스는 아파치 2.0이며 엔비디아 지포스 RTX 5090에서 초당 최대 143토큰이 나온다. ASAP은 이 1.5점의 손실이 어느 항목에 몰려 있는지를 갈라서 읽는다.

삼진 가중치는 비트를 줄이는 것이 아니라 값의 개수를 줄인다

본사이 2 27B의 압축 방식은 가중치를 -1과 0, +1 세 값으로 제한하는 삼진 형식이며, 여기에 FP16 그룹별 스케일링을 붙여 가중치당 실효 1.76비트를 만든다. 세 값만 쓰면 이론상 가중치 하나에 필요한 정보량은 1.585비트이고, 실제 1.76비트라는 숫자는 그룹마다 따로 저장하는 FP16 스케일 값이 더해진 결과다. 용량으로 환산하면 278억 파라미터 모델이 5.9GB에 들어가며, 전정밀도 대비 9배가 넘는 축소다.

일반적인 양자화는 값의 표현 폭을 좁히는 작업이다. 16비트를 8비트나 4비트로 내리면 표현 가능한 값의 개수는 줄지만 값 자체는 여전히 연속적인 눈금 위에 놓인다. 삼진은 성격이 다르다. 가중치가 가질 수 있는 상태가 켜짐과 꺼짐, 그리고 반대 방향 세 가지로 바뀌고, 행렬 곱셈에서 실수 곱셈이 부호가 붙은 덧셈에 가까워진다. 프리즘ML이 강조하는 속도와 전력 이점의 출처가 여기다.

모델의 나머지 사양은 원본을 그대로 따라간다. 컨텍스트 창은 26만 2천 토큰이고, 입력은 텍스트와 이미지를 함께 받는 멀티모달이며, 추론과 코딩, 비전, 에이전트 도구 사용을 지원한다고 프리즘ML은 적었다. 학습에는 구글 v5 TPU를 썼다.

일곱 항목 중 지시 따르기 하나에서는 원본을 앞섰다

프리즘ML이 공개한 항목별 성적에서 본사이 2 27B는 지시 따르기 82.66점으로 원본 Qwen3.8 27B의 81.25점을 1.41점 앞섰고, 나머지 여섯 항목에서는 뒤졌다. 집계 점수는 83.9점 대 85.4점이며, 이 비교는 벤치마크 20개를 묶은 스위트 위에서 계산됐다.

항목별로 보면 차이의 크기가 고르지 않다. 비전은 78.59점으로 원본 81.64점보다 3.05점 낮고, 지식과 추론은 83.95점으로 86.66점보다 2.71점 낮으며, 에이전트와 도구 호출은 77.57점으로 79.74점보다 2.17점 낮다. 반대쪽에서 코딩은 81.58점으로 82.17점보다 0.59점, 수학은 96.57점으로 97.06점보다 0.49점 낮을 뿐이다.

바박 하시비(Babak Hassibi) 창업자 겸 CEO는 압축이 언제나 어느 정도 영향을 남길 것이라고 테크크런치에 말했다. 같은 보도에 따르면 이전 세대인 본사이 1은 집계 점수의 95%를 유지했고 이번 본사이 2는 98%대로 올라왔다.

돌아가는 하드웨어 목록이 이 모델의 실제 주장이다

프리즘ML은 본사이 2 27B가 엔비디아 지포스 RTX 5090에서 초당 최대 143토큰, 애플 M5 맥스에서 초당 46.8토큰을 낸다고 밝혔고, RTX 4090 기준 토큰당 0.714밀리와트시로 전정밀도 80억 파라미터 모델보다 40% 높은 에너지 효율을 제시했다. 실행 경로는 두 갈래다. 엔비디아 GPU에서는 CUDA를 통하고, 맥과 아이폰, 아이패드에서는 MLX를 통한다.

배포 형식도 이 목록에 맞춰져 있다. 허깅페이스에 올라온 본사이 2 컬렉션에는 GGUF 빌드와 MLX 2비트 빌드, 그리고 브라우저에서 WebGPU로 돌리는 데모 공간이 함께 들어 있다. 라이선스는 아파치 2.0이고 공개일인 2026년 9월 17일부터 무료로 내려받을 수 있다.

회사 배경은 캘텍(Caltech)에 있다. 프리즘ML은 캘텍 연구자들이 세웠고 압축 이론을 전공한 캘텍 교수 바박 하시비가 이끈다. 데이터브릭스 공동 창업자이자 버클리 스카이 컴퓨팅 랩을 이끄는 이온 스토이카(Ion Stoica)가 자문으로 참여한다. 테크크런치는 시드 라운드 2,225만 달러를 코슬라 벤처스와 서베러스 캐피털, 캘텍이 넣었다고 보도했으며, 프리즘ML의 보도자료는 기존 후원자로 코슬라 벤처스와 서베러스, 구글, 삼성을 열거했다.

1.5점의 손실이 어디에 몰렸는지가 용도를 정한다

집계 점수 1.5점 하락은 평균값이고, 실제 손실은 비전 3.05점과 지식·추론 2.71점, 에이전트 도구 호출 2.17점에 몰려 있다. 반대편에서 수학은 0.49점, 코딩은 0.59점만 떨어졌다. 98.2%라는 한 줄만 옮겨 적으면 이 분포가 사라진다.

이 분포를 용도별로 읽으면 판단이 갈린다. 온디바이스에서 코드 보조나 수식 계산처럼 형식이 정해진 작업을 돌리려는 경우, 압축의 대가는 사실상 측정 오차 수준에 가깝다. 반대로 이미지를 읽고 판단하는 작업이나 폭넓은 지식을 끌어와야 하는 질의응답에서는 원본과의 간격이 세 배 이상 벌어진다. 노트북과 휴대폰에 모델을 심으려는 팀이 먼저 확인해야 할 것은 집계 점수가 아니라 자기 워크로드가 이 두 그룹 중 어디에 속하는가다.

지시 따르기에서 압축 모델이 원본을 1.41점 앞섰다는 결과는 별도로 다룰 값어치가 있다. 벤치마크 점수는 결정론적으로 재현되지 않고, 한 항목에서의 1.41점은 측정 편차 범위 안에 들어올 수 있다. 다만 이 수치를 압축이 성능을 올렸다는 근거로 읽는 것은 무리다. 여기서 확인되는 것은 압축 손실이 모든 항목에 균일하게 퍼지지 않고 항목마다 방향과 크기가 다르게 나타난다는 사실이며, 그래서 단일 집계 점수로 압축 모델을 평가하는 관행 자체가 정보를 지운다.

경쟁의 축이 작은 모델 만들기에서 큰 모델 접기로 옮겨간다

본사이 2 27B가 겨냥한 지점은 파라미터 278억 개짜리 모델을 노트북과 휴대폰에 그대로 올리는 것이며, 파라미터를 줄여 작은 모델을 새로 학습시키는 방식과는 출발점이 다르다. 온디바이스 AI의 기존 경로는 대체로 두 갈래였다. 처음부터 소형으로 설계해 학습하거나, 큰 모델을 교사로 삼아 작은 학생 모델로 증류하는 것이다. 두 방식 모두 결과물은 원본과 다른 모델이며, 성능 비교는 새 모델을 새로 평가하는 문제가 된다.

후처리 압축은 질문의 형태를 바꾼다. 비교 대상이 다른 모델이 아니라 같은 모델의 전정밀도 판본이 되고, 평가는 얼마나 잘하는가가 아니라 얼마나 잃었는가로 정리된다. 98.2%라는 표현이 성립하는 이유가 여기 있다. 이 틀에서 개선의 여지는 새 아키텍처가 아니라 손실률을 0에 가깝게 미는 쪽에 있으며, 프리즘ML이 95%에서 98%대로 올렸다고 말하는 것도 같은 축 위의 이야기다.

다만 이 접근에는 구조적 종속이 따라붙는다. 압축은 압축할 원본을 필요로 하고, 본사이 2 27B의 원본은 Qwen3.8 27B다. 압축 기술이 아무리 좋아져도 결과물의 상한은 그 시점에 공개된 오픈 웨이트 모델이 정한다. 프리즘ML 같은 회사의 제품 주기가 오픈 웨이트 공개 주기에 묶인다는 뜻이며, 온디바이스 성능의 다음 도약이 압축 쪽에서 올지 원본 쪽에서 올지는 이 구조에 달려 있다.

에너지 숫자가 국내 온디바이스 계획에 주는 함의와 남은 질문

토큰당 0.714밀리와트시라는 수치는 성능 비교가 아니라 배터리와 발열 예산의 문제이며, 국내 단말 제조와 앱 팀에는 점수표보다 이 항목이 먼저 걸린다. 휴대폰과 노트북에서 모델을 돌릴 때 실제 제약은 대체로 정확도가 아니라 지속 가능한 전력과 온도다. 초당 143토큰이라는 데스크톱 GPU 수치보다, M5 맥스에서 초당 46.8토큰이 나온다는 쪽이 온디바이스 계획에 직접 닿는 숫자다. 애플 실리콘용 MLX 빌드와 아이폰·아이패드 지원을 명시한 것도 같은 방향을 가리킨다.

그럼에도 이 발표에서 확인되지 않은 항목이 남아 있다. 첫째, 공개된 점수는 모두 프리즘ML이 자체 측정한 값이고 제3자 평가는 아직 붙지 않았다. 둘째, 98.2%는 벤치마크 20개를 묶은 스위트 위의 값이며, 그 스위트 밖의 작업에서 같은 유지율이 나오는지는 다른 문제다. 셋째, 26만 2천 토큰 컨텍스트가 압축 이후에도 끝까지 안정적인지에 대한 수치는 이번 자료에 들어 있지 않다.

검토하는 팀이 할 일은 단순하다. 아파치 2.0에 GGUF와 MLX 빌드가 공개돼 있으므로, 자기 작업 데이터로 원본과 압축본을 나란히 돌려 항목별 차이를 직접 재는 것이 가능하다. 삼진 압축이 어느 작업에서 얼마를 잃는지는 집계 한 줄이 아니라 그 측정에서 나온다.

출처: Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint (프리즘ML, 2026년 9월 17일) · PrismML hopes its tiny LLM could change how we all use AI (테크크런치, 2026년 9월 17일)