커서가 MoE 학습 메가커널 믹스처 오브 키튼스를 아파치 2.0으로 공개했다

커서는 2026년 8월 4일 전문가 혼합(MoE) 모델 학습용 메가커널 믹스처 오브 키튼스(Mixture-of-Kittens, MoK)를 아파치 2.0 라이선스로 공개했다. MoK는 MoE 계층의 통신과 연산을 커널 하나로 융합해 커널 실행 경계와 CPU와 GPU 사이의 동기화를 없앤 구현이며, 커서는 자사 에이전틱 코딩 모델 컴포저의 학습에 이 커널을 쓰고 있다고 밝혔다. 공개된 벤치마크에서 MXFP8 순전파는 가장 빠른 공개 기준선 대비 최대 2.37배, 512개 GPU 실제 학습에서는 GPU당 초당 760.9토큰에서 1,070.2토큰으로 1.41배 빨라졌다. ASAP은 커서 공식 기술 블로그와 깃허브 저장소를 1차 출처로 이 커널이 무엇을 바꿨는지와 숫자를 어디까지 믿을 수 있는지 정리한다.

커널 하나가 MoE 계층의 통신과 연산을 통째로 삼켰다

커서가 2026년 8월 4일 공개한 MoK는 MoE 계층의 통신과 연산을 단일 커널로 융합한 학습용 메가커널이다. 저장소 설명은 이 프로젝트를 NVL72를 위해 밑바닥부터 설계한 완전 결정론적 MoE 학습 메가커널로 규정한다.

일반적인 MoE 학습에서 한 계층은 토큰을 전문가가 있는 GPU로 보내는 디스패치, 전문가 연산, 결과를 되돌리는 컴바인으로 나뉘고 각 단계가 별도 커널로 실행된다. 단계마다 커널 실행 경계가 생기고 그 경계에서 GPU는 통신이 끝나기를 기다린다. MoK는 이 경계를 없애 미니배치 사이에 커널 실행이 끼어들지 않게 했고, 스케줄링을 전부 GPU 쪽에서 처리해 CPU와 GPU 사이의 동기화를 제거했다. 커서는 스케줄 커널 자체의 부담이 전체 MoE 실행 시간의 3퍼센트 미만이라고 밝혔다.

연산과 통신을 겹치는 방식도 명시됐다. MoK는 스트리밍 멀티프로세서(SM)를 연산용과 통신용으로 나눠 동시에 돌리고, 미니배치 크기를 조절해 겹침 구간을 확보한다. 커서는 블랙웰 기준 최적 미니배치 크기 산정식과 함께 약 2,368토큰이라는 실제 설정값을 예시로 제시했다.

2.37배는 어떤 기준선과 비교한 숫자인가

MoK가 내세운 2.37배는 MXFP8 순전파를 하이브리드EP와 메가트론 조합이라는 가장 빠른 공개 기준선과 비교한 값이다. 같은 비교에서 MXFP8 역전파는 1.78배, BF16 순전파는 1.92배, BF16 역전파는 1.58배였다. 측정 조건은 GPU당 2,048토큰, 전문가 병렬화(EP) 차수 64다.

기준선을 정확히 짚는 이유는 이 숫자가 다른 이름으로 옮겨 다니기 때문이다. 2026년 8월 이 발표를 다룬 여러 매체는 2.37배를 딥시크의 DeepEP 대비 수치로 표기했다. 커서 블로그에서 DeepEP가 기준선으로 등장하는 곳은 마이크로벤치가 아니라 엔드투엔드 학습 비교 구간이며, 마이크로벤치의 상대는 하이브리드EP와 메가트론 조합이다. 두 비교는 대상도 배수도 다르다.

벤치마크에 쓰인 모델 형태는 실제 공개 모델의 구성을 따랐다. 커서는 Kimi K2.7 Code(전문가 384개, 은닉 차원 7,168), GLM-5.2(전문가 256개, 은닉 차원 6,144), Qwen3.5-397B-A17B(전문가 512개, top-k 10), DeepSeek-V4-Pro(전문가 384개, 중간 차원 3,072) 네 가지 형태로 측정했다.

끌어오기 방식이 밀어넣기보다 빨랐던 자리

MoK는 순전파 디스패치에 끌어오기(pull) 방식을 써서 신호 지연을 103마이크로초에서 18마이크로초로 5.8배 줄였다. 같은 변경으로 NVLink 대역폭 활용률은 밀어넣기(push) 방식 대비 29퍼센트 높아졌다.

방향은 단계마다 다르게 배치됐다. 순전파에서 디스패치는 끌어오기, 컴바인은 밀어넣기를 쓰고, 역전파에서는 역컴바인이 끌어오기, 역디스패치가 밀어넣기를 쓴다. 어느 한 방식이 항상 우월한 것이 아니라 각 단계에서 데이터를 받는 쪽이 자기 필요 시점을 아는지 여부가 갈림점이 된다. 받는 쪽이 언제 무엇이 필요한지 아는 단계에서는 끌어오기가 대기 신호를 없애고, 보내는 쪽이 결과를 먼저 확정하는 단계에서는 밀어넣기가 왕복을 줄인다.

링 버퍼 설계도 같은 문제의식에서 나왔다. MoK는 수백 메가바이트 규모의 고정 크기 매크로배치 링 버퍼를 두고 디스패치와 컴바인을 교차 실행하며, 역전파에서는 링을 역순으로 훑어 순전파 활성값의 재계산을 줄인다.

결정론을 성능과 같은 급으로 올려놓은 선택

MoK는 2026년 8월 공개 시점부터 완전 결정론을 설계 목표로 내걸었고, 부동소수점 연산 순서를 고정해 같은 입력이 하드웨어 스케줄링과 무관하게 비트 단위로 동일한 출력을 내도록 만들었다. 저장소 설명의 첫 문장에 결정론이 들어가 있다는 점이 이 선택의 위상을 보여준다.

분산 학습에서 결정론은 성능과 맞바꾸기 쉬운 항목이다. 통신 도착 순서대로 누산하면 대기 시간이 줄지만 실행할 때마다 부동소수점 덧셈 순서가 달라져 결과가 미세하게 흔들린다. 이 흔들림은 평소에는 무해하고 문제가 생겼을 때만 비용을 청구한다. 손실 곡선이 튀었을 때 원인이 데이터인지 코드 변경인지 수치 잡음인지 가려낼 방법이 사라지기 때문이다.

수만 개 GPU 규모에서 이 비용은 특히 커진다. 학습 한 번에 들어가는 비용이 클수록 재현 불가능한 이상 현상을 그냥 넘기는 선택의 대가도 커진다. 커서가 결정론을 부가 기능이 아니라 저장소 첫 줄의 정체성으로 배치한 것은, 대규모 학습에서 디버깅 가능성이 처리량과 같은 급의 자산이라는 판단이다.

2.37배가 1.41배로 줄어든 구간을 읽는 법

마이크로벤치에서 2.37배였던 개선폭은 512개 GPU 실제 학습에서 1.41배로 줄어든다. 커서가 공개한 엔드투엔드 수치는 DeepEP 기반 프로덕션 스택의 GPU당 초당 760.9토큰이 MoK에서 1,070.2토큰으로 오른 값이며, 측정은 여러 대의 GB300 NVL72 랙에 걸친 512개 GPU에서 이뤄졌다.

두 숫자의 간격은 과장이 아니라 구조의 반영이다. 마이크로벤치는 MoE 계층 하나만 떼어 측정하지만, 실제 학습 한 스텝에는 어텐션 연산, 옵티마이저 갱신, 데이터 파이프라인, 체크포인트 저장처럼 MoE 커널이 손대지 않는 구간이 함께 들어간다. 전체 시간에서 MoE가 차지하는 비중이 정해져 있는 이상, 그 부분을 아무리 빠르게 만들어도 전체 개선폭은 그 비중 안으로 수렴한다.

그래서 실무에서 의미 있는 숫자는 1.41배 쪽이다. 이 값을 뒤집으면 같은 토큰 수를 학습하는 데 걸리는 시간이 약 71퍼센트로 줄어든다는 뜻이고, 대규모 학습 예산에서 이 정도 차이는 그 자체로 규모의 문제가 된다. 동시에 이 배수는 커서의 특정 프로덕션 스택과 특정 모델 형태에서 나온 값이며, MoE 비중이 다른 구성에서는 다른 값이 나온다. 마이크로벤치 배수를 자기 학습 파이프라인에 그대로 대입하는 계산은 성립하지 않는다.

이 코드를 실제로 돌릴 수 있는 조건

MoK를 실제로 돌리려면 엔비디아 블랙웰 SM100 또는 SM103 GPU와 파이토치 2.10 이상, CUDA 13.0 이상이 필요하다. 저장소는 대상 하드웨어를 GB200 NVL72 또는 GB300 NVL72로 명시하고, 설치된 파이토치 빌드의 CUDA 버전이 시스템 CUDA 툴킷의 주 버전과 부 버전에 일치해야 한다고 적었다.

이 조건은 라이선스가 열려 있다는 사실과 실제 접근성이 다른 문제임을 보여준다. 아파치 2.0은 상업적 사용과 수정, 재배포를 폭넓게 허용하지만, 이 커널이 겨냥한 것은 NVLink로 묶인 72 GPU 랙이라는 특정 물리 구성이다. 국내에서 이 급의 설비를 직접 운용하는 곳은 한정되며, 클라우드로 빌려 쓰더라도 랙 단위 구성을 확보해야 공개된 수치에 근접한다.

그럼에도 코드가 공개된 값어치는 벤치마크 재현에만 있지 않다. 통신과 연산의 겹침 설계, 끌어오기와 밀어넣기의 단계별 배치, 결정론을 지키면서 누산 순서를 고정하는 구현은 하드웨어 규모와 무관하게 읽을 수 있는 설계 자산이다. 국내 팀이 당장 얻을 것은 처리량이 아니라 대규모 MoE 학습에서 병목이 어디에 생기는지에 대한 구체적인 지도다.

남는 질문

커서가 공개한 성능 수치는 모두 NVL72 랙 구성에서 측정된 값이고, 그보다 작은 클러스터에서의 이득은 제시되지 않았다. 랙 하나를 채우지 못하는 환경에서 통신 패턴이 어떻게 달라지는지는 이 발표만으로 알 수 없다.

두 번째는 학습 품질이다. 공개된 비교는 처리량과 결정론에 집중돼 있고, MXFP8 정밀도로 학습한 모델의 최종 품질이 BF16 학습과 어떻게 다른지에 대한 수치는 이번 글의 범위 밖이다.

세 번째는 유지보수다. 메가커널 방식은 하드웨어 세대에 강하게 묶인다. 이 구현은 블랙웰 SM100과 SM103을 겨냥해 작성됐고, 다음 세대 아키텍처에서 같은 설계가 얼마나 이식되는지는 커서가 저장소를 어떤 주기로 갱신하는지에 달렸다.

출처: 커서 공식 기술 블로그 "Mixture-of-Kittens: our open-source MoE megakernel for NVL72s"(2026년 8월 4일)와 깃허브 cursor/mixture-of-kittens 저장소 기반 ASAP 정리