OpenAI 할라피뇨 첫 실측 공개: 와트당 1.5~1.9배, 종단 지연 최대 3.6배 낮췄다

OpenAI는 2026년 8월 25일 자체 추론 칩 할라피뇨(Jalapeño)의 첫 실측 결과를 공개하고, GPT-OSS 120B와 DeepSeek R1 670B, Kimi K2.5 1T 세 모델에서 비교 시스템 대비 와트당 처리량 1.5~1.9배, 종단 지연 1.7~3.6배 개선을 보고했다. 상호작용이 많은 워크로드에서는 2.1~4.1배 높은 성능을 기록했다. 측정은 SemiAnalysis가 공개한 벤치마크 InferenceX에서 이뤄졌고, 비교 대상은 엔비디아 GB200과 GB300이다. OpenAI는 연말까지 자사 컴퓨트 인프라에 할라피뇨 배치를 시작하며, 2세대는 개발이 상당히 진행됐고 3세대도 형태를 잡아가는 중이라고 밝혔다. ASAP은 OpenAI 공식 발표문과 부록 수치를 1차 출처로 이 결과를 정리한다.

6월에 비어 있던 자리에 숫자가 들어왔다

OpenAI는 2026년 6월 24일 브로드컴(Broadcom)과 공동 설계한 할라피뇨를 처음 공개하면서 와트당 성능이 현행 하드웨어보다 "상당히(substantially)" 우수하다고만 밝히고 구체적 벤치마크를 내놓지 않았다. 당시 발표문은 별도 기술 보고서를 약속했고, 8월 25일 공개된 이번 문서가 그 자리를 채운다. 두 발표 사이의 성격 차이는 분명하다. 6월이 방향 선언이었다면 8월은 측정값이다.

달라진 것이 하나 더 있다. 6월 발표는 칩과 파트너 구성, 일정을 설명하는 데 지면을 썼지만, 이번 문서는 어떤 조건에서 무엇을 쟀는지를 앞세운다. OpenAI는 성능을 "동일한 사용자 경험 조건(matched user experience)"에서 평가한다고 규정했다. 고객과 상호작용형 에이전트가 요구하는 지연을 만족시키면서 전력 단위당 얼마나 많은 유용한 작업을 끝내는지를 본다는 뜻이다. 에이전트는 여러 단계를 순차로 밟기 때문에 단계마다 생기는 지연이 과제 전체에 누적된다는 설명도 함께 붙였다.

세 개의 공개 모델에서 나온 실측치

할라피뇨는 GPT-OSS 120B에서 킬로와트당 혼합 처리량 85,448토큰을 기록해 비교 대상 GB200의 44,960토큰을 약 1.9배 앞섰다. 같은 조건에서 종단 지연은 1.03초 대 1.80초로 약 1.7배 낮았고, 최소 토큰간 지연(TBT)은 0.69밀리초 대 1.87밀리초로 약 2.7배 짧았다. 사용자당 초당 토큰으로 환산하면 1,459토큰 대 535토큰이다.

DeepSeek R1 670B를 MXFP4로 돌린 비교에서는 격차가 더 벌어졌다. 킬로와트당 혼합 처리량이 19,641토큰 대 11,781토큰으로 약 1.7배, 종단 지연이 1.65초 대 5.99초로 약 3.6배, 최소 TBT가 1.43밀리초 대 5.90밀리초로 약 4.1배였다. 비교 시스템은 GB300이다. 가장 큰 공개 모델인 Kimi K2.5 1T에서는 킬로와트당 18,195토큰 대 11,862토큰으로 약 1.5배, 종단 지연 1.56초 대 5.31초로 약 3.4배, 최소 TBT 1.44밀리초 대 5.48밀리초로 약 3.8배를 기록했다. 모든 측정은 입력 8k에 출력 1k라는 명목 조건에서 이뤄졌다.

세 모델을 나란히 놓으면 규칙이 하나 보인다. 모델이 커질수록 와트당 배수는 1.9배에서 1.5배로 줄지만, 지연 배수는 1.7배에서 3.4배로 커진다. 처리량 우위는 모델이 커질수록 희석되는 반면 지연 우위는 오히려 확대된다는 뜻이다. OpenAI가 내부 프론티어 모델에서는 우위가 더 벌어졌다고 덧붙인 대목도 이 흐름과 같은 방향을 가리킨다.

700와트와 1,400와트를 나란히 놓은 계산법

OpenAI가 붙인 부록은 할라피뇨를 700와트, GB200을 1,200와트, GB300을 1,400와트라는 공표된 패키지 TDP로 정규화해 계산했다고 명시한다. 이 한 문장이 이번 발표에서 가장 조심스럽게 읽어야 할 지점이다. 와트당 성능은 분모를 무엇으로 잡느냐에 따라 배수가 통째로 달라지는 지표이기 때문이다.

같은 문서는 할라피뇨의 실측 지속 전력이 테스트한 워크로드에서 550와트 이하에 머물렀다고 밝힌다. 정격 700와트 대비 실측이 21% 이상 낮았다는 뜻인데, 정작 정규화에는 700와트를 썼다. 이 선택은 할라피뇨에 불리한 방향이므로 그 자체로는 보수적이다. 문제는 비교 대상의 실측 전력은 공개되지 않았다는 데 있다. GB200과 GB300이 각각 1,200와트와 1,400와트 정격 대비 실제로 얼마나 끌어 썼는지 알 수 없는 이상, 배수의 정확한 크기는 확정되지 않는다. 두 시스템도 정격보다 낮게 돌았다면 격차는 지금 보고된 값보다 좁아진다.

정격 기준 정규화가 부당한 방법론이라는 뜻은 아니다. 데이터센터 전력 설계는 실측이 아니라 정격을 기준으로 배분하기 때문에, 랙에 몇 장을 꽂을 수 있는지를 따지는 관점에서는 정격이 현실적인 분모다. 다만 "같은 전기를 써서 얼마나 일하는가"라는 문장으로 이 숫자를 옮기는 순간 의미가 달라진다. 두 해석은 다른 질문에 대한 답이며, 이번 발표문은 전자에 서 있다.

53.7배와 104.3배가 나온 지점

부록에서 가장 큰 배수인 104.3배는 DeepSeek R1 비교에서 사용자당 초당 169.41토큰이라는 특정 지점을 고정했을 때 나온 값이다. 이 지점은 비교 시스템이 낼 수 있는 가장 빠른 응답 속도, 즉 GB300의 최소 TBT에 해당한다. 같은 방식으로 GPT-OSS 120B에서는 53.7배, Kimi K2.5에서는 56.1배가 나왔다.

두 자릿수 배수의 정체는 이렇게 정리된다. 비교 시스템이 자신의 최고 속도를 낼 때는 처리량이 거의 남지 않는다. GB300의 경우 킬로와트당 118토큰이다. 반면 할라피뇨는 같은 속도를 유지하면서도 킬로와트당 12,258토큰을 처리한다. 곡선의 끝자락에서 한쪽이 급격히 무너지는 구간을 잡아 비교한 값이므로, 이 배수를 칩 전체의 성능 차이로 옮겨 적으면 과장이 된다.

그렇다고 의미 없는 수치도 아니다. 상호작용형 에이전트는 정확히 그 구간에서 산다. 사용자가 화면 앞에서 기다리는 응답이나 도구를 연달아 호출하는 에이전트 루프는 처리량이 아니라 응답 속도를 먼저 요구하고, 그 속도를 유지한 채 몇 명을 동시에 감당할 수 있는지가 서비스 원가를 결정한다. 배수 자체보다는 "고속 구간에서 처리량이 살아 있는가"라는 질문이 이 표의 핵심이다. OpenAI가 초고속 모드 추론을 기존 고속 모드 수준의 효율로, 고속 모드를 기존 배치 모드 수준의 효율로 끌어올렸다고 요약한 것도 같은 이야기다.

커널을 두 달 만에 이식했다는 대목이 더 크다

OpenAI는 Codex와 GPT-Astra를 써서 원래 생산 계획에 없던 오픈웨이트 모델 세 개를 두 달 만에 고성능 구동 상태로 올렸다고 밝혔다. 선별한 GPT-OSS의 어텐션과 전문가 혼합(MoE) 블록에서는 AI가 생성한 구현이 기존 인간 전문가 구현보다 1.5~1.8배 빨랐다. OpenAI 스스로 이 수치가 전체 모델이 아니라 선별된 블록에 한정된다고 못 박았다.

한정 조건을 붙이고도 이 문단이 와트당 배수보다 무겁다. 신생 가속기가 시장에서 밀리는 이유는 대체로 실리콘이 아니라 소프트웨어였다. 새 모델 계열이 나올 때마다 커널과 모델별 최적화를 다시 써야 하고, 그 작업이 사람의 시간으로 몇 분기씩 걸리는 동안 기성 생태계와의 격차가 유지된다. 이번 발표는 그 주기를 두 달로 줄인 사례를 제시한다. 전환 비용이 줄어들면 하드웨어 선택의 문턱도 함께 내려간다.

할라피뇨의 설계 자체도 이 방향으로 맞춰졌다. OpenAI는 엔지니어가 지역 텐서와 명시적 통신, 예측 가능한 동기화로 작업을 기술하면 AI가 그 작업의 매핑과 배치, 스케줄링을 최적화하도록 칩을 "인간과 AI 모두에게 명확하고 예측 가능한 프로그래밍 대상"으로 설계했다고 설명한다. 병렬 프로그래밍이라는 난제를 AI가 다룰 수 있는 형태로 바꾸려는 시도다. 설계부터 테이프아웃까지 9개월이 걸린 것도 AI가 설계 탐색과 검증 루프를 단축한 결과라고 밝혔다.

국내 반도체와 데이터센터에 걸리는 선

와트당 성능을 기준으로 삼자는 OpenAI의 주장은 전력이 병목이 된 2026년 데이터센터 현실을 그대로 반영한다. 칩 한 장당 성능이 아니라 전력 단위당 성능이 더 유용한 기준이라는 문장은, 부지와 변전 용량이 먼저 동나는 환경에서 나온 실무적 판단이다. 국내에서 데이터센터 인허가와 계통 연결이 사업 속도를 좌우하는 상황과 정확히 같은 제약이다.

국내 반도체 업계에는 방향이 갈리는 신호가 함께 담겼다. 할라피뇨의 설계 핵심은 KV 캐시를 포함한 모델 상태를 명시적으로 배치해 지역에 붙들어 두고 데이터 이동을 줄이는 것이다. 프리필은 연산이, 디코드는 메모리 대역폭이 병목이라는 구분을 하드웨어 차원에서 갈라 대응한 구조다. 메모리 대역폭과 근접 배치가 성능을 결정하는 설계라면 고대역폭 메모리와 첨단 패키징의 중요도는 낮아지지 않는다. 자체 칩 확산이 범용 가속기 수요를 잠식하더라도 메모리 쪽 수요는 다른 곡선을 그린다.

동시에 이번 발표는 자체 칩 경쟁의 진입 조건을 다시 보여준다. OpenAI가 확보한 것은 설계 역량만이 아니라 모델과 제품, 서빙 소프트웨어, 칩, 메모리, 네트워킹, 시스템을 함께 설계할 수 있는 위치다. 실제 워크로드에서 얻은 데이터로 모든 계층을 동시에 조정한다는 이 구조는 개별 계층만 잘하는 사업자가 복제하기 어렵다. 국내 팹리스와 클라우드 사업자가 참고할 지점은 칩 스펙이 아니라 이 수직 통합의 범위다.

아직 검증되지 않은 채 남은 것들

할라피뇨의 이번 수치는 SemiAnalysis의 공개 벤치마크 InferenceX 위에서 측정됐지만, 측정과 보고는 모두 OpenAI가 직접 수행했다. 공개 벤치마크를 썼다는 점은 순수한 자체 지표보다 한 걸음 나아간 것이지만 제3자 검증과는 다르다. 부록에 실린 조건은 명목 8k/1k에 STP 기준이며, 다른 입출력 길이나 동시 요청 조건에서 같은 배수가 유지되는지는 이 문서의 범위 밖이다.

배치 상태도 아직 예고에 머문다. OpenAI는 연말까지 자사 인프라에 배치를 시작한다고 밝히면서 생산 검증과 소프트웨어 성숙, 대규모 운영 준비, 더 많은 모델에서의 성능 검증이 진행 중이라고 함께 적었다. 판매 계획이나 가격은 언급되지 않았다. 할라피뇨는 시장에서 엔비디아와 겨루는 상품이 아니라 OpenAI 내부 원가 구조를 바꾸는 부품이다. 같은 문서에서 학습과 추론 모두에 엔비디아와 다른 파트너의 가속기를 계속 폭넓게 배치하겠다고 명시한 것이 그 성격을 드러낸다.

마지막으로 이번 발표가 답하지 않은 질문이 남는다. 와트당 1.5~1.9배가 실제 서비스 원가에서 몇 퍼센트의 절감으로 옮겨지는지는 칩 단가와 수율, 랙 밀도, 운영 효율이 함께 결정한다. OpenAI는 유용한 작업과 매출이 서빙 비용보다 빠르게 성장하는 운영 레버리지를 기대한다고 적었지만, 그 레버리지의 크기를 뒷받침할 숫자는 이번 문서에 없다. 다음 확인 지점은 연말 배치 이후의 실제 가동 데이터다.

출처: OpenAI, 'Jalapeño's first results show industry-leading speed and efficiency in AI inference'(2026년 8월 25일) 및 부록 수치 기반 ASAP 정리.