SK텔레콤은 2026년 7월 29일 자체 개발한 대규모 MoE 언어모델 A.X K2를 허깅페이스(Hugging Face)에 아파치 2.0 라이선스 오픈웨이트로 공개했다. 총 파라미터는 6,880억 개, 토큰당 활성 파라미터는 330억 개이며, 한국어 벤치마크 KMMLU-Pro 80.5점과 CLIcK 91.6점으로 모델 카드가 함께 실은 경쟁 모델 7종을 모두 앞섰다. 반면 웹 탐색 에이전트 과제 BrowseComp에서는 9.3점에 그쳐 GLM-5.1의 29.1점, Qwen3.5의 26.9점에 크게 못 미쳤다. ASAP은 SKT 공식 모델 카드를 1차 출처로 이 모델이 어디까지 왔고 어디서 멈췄는지 정리한다.

한국어와 통신 도메인은 1위, 코드와 탐색은 하위권

A.X K2의 벤치마크 표는 강점과 약점이 도메인별로 뚜렷하게 갈린다. 사고 모드 기준으로 한국어 세 과제 중 KMMLU-Pro 80.5점과 CLIcK 91.6점이 비교 모델 전체에서 가장 높고, 에이전트 과제 중 통신 도메인을 다루는 타우스퀘어드 벤치 텔레콤(τ²-Bench Telecom)에서도 98.0점으로 1위다. 수학에서는 AIME26 97.1점이 최고점이고, 특히 난도가 높은 Apex에서 45.8점을 기록해 2위인 DeepSeek-V4 Flash의 28.1점과 격차를 크게 벌렸다.

반대쪽은 분명하다. LiveCodeBench v6 84.0점은 DeepSeek-V4 Flash 89.4점과 Kimi-K2.6 86.5점에 밀리고, SciCode 41.0점은 Kimi-K2.6 53.5점에 12.5점 뒤진다. 지식 과제인 Humanity's Last Exam 27.8점과 GPQA Diamond 85.6점도 상위권이 아니다. 가장 큰 낙차는 BrowseComp의 9.3점으로, 1위 GLM-5.1의 29.1점 대비 3분의 1 수준이다.

한국어 세 과제 안에서도 결과가 갈린다는 점은 짚어둘 만하다. KMMLU-Pro와 CLIcK은 1위지만 언어학적 추론을 다루는 KoBALT에서는 73.0점으로 DeepSeek-V4 Flash의 75.3점에 뒤진다. "한국어 1위"라는 요약은 세 과제 중 두 과제에 해당하는 서술이다.

전임 모델 대비 상승폭이 과제마다 다른 이유

A.X K1과 나란히 실린 14개 과제의 점수 차이를 계산하면 평균 18.2점포인트 상승이다(ASAP이 모델 카드 표에서 직접 산출). 다만 이 평균값 자체는 정보량이 적다. 상승폭이 과제별로 극단적으로 흩어져 있기 때문이다.

가장 크게 오른 과제는 Apex로 1.0점에서 45.8점, 44.8점포인트 상승이다. 그다음이 Apex-shortlist 50.8점에서 88.6점, AA-LCR 26.0점에서 66.0점, KoBALT 51.0점에서 73.0점 순이다. 반대로 AIME26은 91.3점에서 97.1점으로 5.8점포인트, CLIcK은 85.3점에서 91.6점으로 6.3점포인트 오르는 데 그쳤다.

이 분포는 상한선에 대한 정보를 담고 있다. AIME26과 CLIcK처럼 K1이 이미 85점을 넘긴 과제에서는 남은 여지 자체가 작았고, Apex와 AA-LCR처럼 K1이 사실상 풀지 못하던 과제에서 대부분의 상승이 나왔다. 즉 K2의 개선은 "전 영역 균등 향상"이 아니라 "그동안 불가능하던 난도 구간의 진입"에 가깝다. Apex에서 K1이 1.0점이었다는 사실은 이 과제가 이전 세대에게는 사실상 벽이었다는 뜻이고, 45.8점은 그 벽이 부분적으로 열렸다는 뜻이다. 다만 45.8점은 여전히 절반에 못 미치는 점수이기도 하다.

6,880억 개를 330억 개로 굴리는 구조

A.X K2는 라우팅 전문가 256개와 공유 전문가 1개로 구성된 MoE 모델이며, 토큰마다 8개 전문가만 활성화한다. 전체 61개 층 중 1개는 밀집(dense) 층이고 나머지 60개가 MoE 층이다. 어텐션 헤드는 64개, 은닉 차원은 7,168, 어휘 크기는 163,840이다. A.X K1과 비교하면 라우팅 전문가 수만 192개에서 256개로 늘었고 활성 파라미터 330억 개는 그대로 유지했다.

긴 문맥 처리에는 SGA(Sparse Gated Attention)를 쓴다. MLA(Multi-head Latent Attention) 위에 경량 희소 어텐션 인덱서를 얹어 쿼리마다 상위 2,048개 토큰만 고르고, 헤드별 게이트 어텐션으로 어텐션 싱크를 억제하는 방식이다. 컨텍스트는 262,144토큰(256K)이며 128K까지는 네이티브로 학습한 뒤 YaRN 스케일링으로 확장했다. RULER 평균은 94.6점인데 구간별로 보면 4K에서 97.5점, 128K에서 92.7점, 256K에서 86.6점으로 길이가 늘수록 완만하게 떨어진다.

학습 방식에서 눈에 띄는 선택은 순전파와 역전파 모두를 처음부터 FP8(MXFP8, E4M3)로 돌렸다는 점이다. 배포 체크포인트도 블록 스케일 FP8로 나가므로 별도 사후 양자화 단계가 없다. 사전학습은 약 8.2조 토큰이며, 16.2조 토큰 후보 풀을 품질 필터링으로 8.2조까지 줄인 뒤 일반지식 6.4조, 고품질 추론 1.4조, 롱컨텍스트 0.36조의 3단계 커리큘럼으로 나눠 넣었다. 사후학습은 SFT 약 606억 토큰에 약 10만 개 프롬프트 규모의 RL을 얹었다.

'소버린 AI'라는 말이 이 모델에서 가리키는 범위

모델 카드는 A.X K2가 한국 정부의 소버린 AI 파운데이션 모델 사업의 일부로 개발됐다고 명시한다. 이 표현을 읽을 때는 카드가 함께 공개한 데이터 구성을 같이 봐야 한다. 1단계 학습 데이터의 설계 비율은 영어 72.7%, 한국어 15.4%, 코드 8.3%이고, 일본어와 스페인어와 중국어가 각각 약 1%다. 이후 단계에서는 영어 비중이 더 올라간다. 한국어 웹 텍스트는 약 1.37조 토큰 규모의 자체 크롤링과 자체 PDF 파싱 파이프라인, 합성 데이터로 채웠고 이 부분은 공개하지 않는다.

영어 웹 텍스트의 최대 기여원은 엔비디아의 Nemotron-CC-v2.1이고, 코드는 Nemotron-Pretraining-Code-v2, 다국어는 FineWeb2에서 왔다. 정리하면 이 모델의 주권적 요소는 "데이터 주권"보다는 가중치와 학습 통제권 쪽에 있다. 한국어 능력을 좌우한 1.37조 토큰의 자체 코퍼스와 아파치 2.0 오픈웨이트라는 배포 조건이 실질이고, 학습 데이터 대부분은 공개 영어 코퍼스에 의존한다.

이 구분이 중요한 이유는 소버린 AI라는 용어가 국내 논의에서 종종 "외국 데이터에 의존하지 않는 모델"로 확대 해석되기 때문이다. A.X K2가 실제로 확보한 것은 그것과 다르다. 외부 API에 의존하지 않고 국내에서 가중치를 소유·수정·배포할 수 있는 상태, 그리고 한국어와 한국 문화 이해도를 자체 데이터로 끌어올린 결과다. KMMLU-Pro 80.5점과 CLIcK 91.6점은 그 투자가 벤치마크상 회수됐음을 보여주는 숫자다. 반면 이 모델을 완전한 데이터 독립의 사례로 소개하는 서술은 카드의 내용과 맞지 않는다.

800기가바이트라는 문턱

오픈웨이트라는 사실과 실제로 돌릴 수 있다는 사실은 다르다. FP8 가중치는 디스크에서 약 647GiB를 차지하고, 로드하면 그보다 조금 더 늘어난다. KV 캐시와 활성값까지 감안하면 총 800GiB 이상의 GPU 메모리를 확보해야 한다는 것이 카드의 권고다. 검증에는 275GiB짜리 B300 4장을 썼고, 80GB 카드로 대체하려면 12장 이상이 필요하다. GPU가 없거나 컴퓨트 능력 8.9 미만인 구형 GPU에서는 트랜스포머스가 자동으로 bfloat16으로 역양자화하는데, 이 경우 전체 모델에 약 1.4TB가 든다.

한국 기업 현실에 대입하면 이 조건은 선명한 선을 긋는다. 자체 GPU 클러스터를 이미 운영하는 대기업과 국가 인프라 사업 참여 기관에게 A.X K2는 즉시 도입 가능한 자산이다. 그러나 GPU 서버 한두 대를 보유한 중견기업이나 스타트업에게 6,880억 파라미터 모델의 온프레미스 운용은 여전히 접근 범위 밖이다. SKT가 모델 카드 말미에 경량화 버전 문의처를 따로 안내한 것도 이 간극을 인식하고 있다는 신호다.

바꿔 말하면 아파치 2.0 라이선스가 만들어내는 실질적 효과는 "누구나 돌릴 수 있다"가 아니라 "돌릴 수 있는 조직이 제약 없이 쓸 수 있다"에 가깝다. 상업적 이용과 파생 모델 제작에 조건이 붙지 않으므로, 국내에서 이 모델을 기반으로 도메인 특화 모델을 만드는 작업이 라이선스 협상 없이 시작 가능해졌다. 실제 파급은 K2 자체보다 여기서 파생될 소형 모델들이 결정한다.

카드가 스스로 적어둔 한계

이번 공개에서 평가할 만한 대목 하나는 SKT가 약점을 모델 카드에 직접 적었다는 점이다. 에이전트 능력에 대해서는 "BrowseComp에서 최상위 비교 모델들에 뒤진다"고 쓰고 그 원인을 사후학습 단계의 에이전트 RL 부족으로 명시했다. 장기 도구 사용 작업에 투입하기 전에 직접 평가하라는 권고도 함께 붙였다. 벤치마크 성적을 마케팅 문구로만 쓰지 않은 서술이다.

편향에 대해서도 "안전 RL의 9개 판정 차원 중 하나로 편향을 다뤘으나 별도의 정량적 편향·공정성 평가는 수행하지 않았다"고 적었다. 평가 범위 역시 영어와 한국어 위주이고 대부분 단일 턴이라는 점을 스스로 밝혔다. 멀티턴 대화와 한국어 외 언어에서의 품질은 이 문서로 확인되지 않는다.

가장 신중하게 다뤄야 할 점은 이 벤치마크 표 전체가 자체 보고라는 사실이다. 경쟁 모델 7종의 점수를 어떤 조건에서 재현했는지, 사고 모드 예산과 프롬프트 설정을 어떻게 맞췄는지는 표만으로 확인되지 않는다. 모델 카드는 기술 리포트 PDF를 별도로 링크하고 있으므로, 도입 판단에 벤치마크 수치를 쓸 계획이라면 리포트의 평가 프로토콜을 확인하는 절차가 필요하다. 아파치 2.0 오픈웨이트라는 조건 덕분에 제3자 재현 검증이 가능하다는 점은 이 문제를 완화한다.

다음 6개월의 판정 기준

A.X K2의 성패는 벤치마크 순위가 아니라 세 가지 후속 지표에서 갈린다. 첫째는 에이전트 성능 개선이다. BrowseComp 9.3점은 이 모델이 도구를 쓰는 긴 작업에서 아직 경쟁력이 없다는 뜻이고, SKT가 원인으로 지목한 에이전트 RL을 다음 버전에서 얼마나 보강하는지가 관건이다. 에이전트 파운데이션 모델을 표방한 만큼 이 격차는 정체성과 직결된다.

둘째는 경량화 계보다. 6,880억 파라미터 모델을 그대로 쓸 수 있는 국내 조직은 소수이므로, 실제 채택 규모는 파생 소형 모델이 언제 어떤 라이선스로 나오는지에 달렸다. 셋째는 제3자 재현이다. 오픈웨이트 공개의 최대 이점은 외부 연구자가 같은 표를 다시 그릴 수 있다는 점이고, KMMLU-Pro 80.5점과 τ²-Bench Telecom 98.0점이 독립 검증에서 유지되는지가 이 모델에 대한 신뢰도를 확정한다.

출처: SK텔레콤 공식 모델 카드 skt/A.X-K2(허깅페이스, 아파치 2.0) 및 A.X K2 기술 리포트 링크 기반 ASAP 정리