베라 루빈 NVL72가 MLPerf 추론 v6.1 첫 제출에서 GB300 대비 최대 3.7배를 기록했다

엔비디아는 2026년 9월 16일 MLPerf Inference v6.1 결과와 함께 베라 루빈 NVL72(Vera Rubin NVL72)의 첫 프리뷰 제출 성적을 공개했다. Qwen3-VL에서 오프라인과 서버, 인터랙티브 세 시나리오에 걸쳐 GB300 NVL72 대비 최대 3.7배, DeepSeek-R1에서 최대 2.5배 높은 처리량을 기록했고, 세미애널리시스의 AgentX 에이전트 추론 테스트에서는 프리뷰 측정 기준으로 30배를 제시했다. 같은 발표에는 GB300 NVL72의 성적도 함께 들어 있으며, DeepSeek-R1을 랙 한 대 72개 GPU에서 네 대 288개 GPU로 늘렸을 때 오프라인 시나리오에서 99% 스케일링 효율을, Qwen3-VL에서는 v6.0 대비 v6.1에서 소프트웨어 개선만으로 최대 1.6배를 기록했다. ASAP은 이 숫자들이 각각 어느 하드웨어와 어느 조건에 붙은 것인지 갈라서 읽는다.

발표에 실린 숫자는 서로 다른 두 하드웨어의 성적이다

이번 발표의 성적표는 베라 루빈 NVL72와 GB300 NVL72로 나뉘며, 헤드라인 배수는 앞의 것이고 확장성과 소프트웨어 개선 수치는 뒤의 것이다. 베라 루빈 NVL72에 붙은 숫자는 Qwen3-VL 최대 3.7배와 DeepSeek-R1 최대 2.5배이고, 두 수치의 비교 기준은 모두 GB300 NVL72다. Qwen3-VL 제출은 엔비디아 다이나모(NVIDIA Dynamo)와 함께 vLLM으로, DeepSeek-R1 제출은 텐서RT-LLM(TensorRT-LLM)으로 돌렸다.

GB300 NVL72 쪽 숫자는 성격이 다르다. DeepSeek-R1을 랙 한 대의 72개 GPU에서 네 대의 288개 GPU까지 확장했을 때 오프라인 시나리오에서 99% 스케일링 효율이 나왔고, WAN 2.2 텍스트 투 비디오 벤치마크에서는 랙 단위 측정으로 초당 0.65편의 720p 영상을 영상당 5.7초에 만들어 단일 노드 대비 처리량 9배와 지연 7.5분의 1을 기록했다. Qwen3-VL에서 v6.0 대비 v6.1에 최대 1.6배가 붙은 것도 GB300 NVL72의 성적이다.

엔비디아는 제출 항목 번호로 6.1-0106과 6.1-0074, 6.1-0073을 표기했다. 여기에 더해 v6.1 제출 마감 이후에도 소프트웨어 최적화가 계속됐고, GPT-OSS-120B와 DLRMv3에서 추가 성능 향상이 나왔으나 아직 MLCommons 검증을 받지 않은 사후 결과라고 밝혔다. 이 구분은 인용할 때 반드시 유지해야 하는 조건이다.

속도의 근거로 제시된 장치는 네 가지다

엔비디아가 성능 향상의 근거로 든 항목은 정밀도와 서빙 구조, 병렬화 방식, 인터커넥트 네 가지다. 첫째는 NVFP4 정밀도로, 4비트 부동소수점 형식을 추론에 적용해 같은 메모리와 대역폭에서 더 많은 토큰을 밀어 넣는다. 둘째는 분리 서빙으로, 프리필과 디코드를 서로 다른 자원에 나눠 배치해 두 단계의 특성 차이를 활용한다.

셋째는 전문가 혼합 모델을 위한 전문가 병렬화다. DeepSeek-R1과 Qwen3-VL 모두 전문가 혼합 구조를 쓰는 계열이므로, 전문가를 여러 GPU에 흩어 배치하고 라우팅으로 필요한 것만 깨우는 방식이 랙 단위 시스템에서 효과를 본다. 넷째는 6세대 NVLink이며, 엔비디아는 이 인터커넥트가 시중 이더넷 대비 패킷 처리율 10배와 지연 3분의 1을 제공한다고 적었다.

네 항목이 한 방향을 가리킨다. 오늘의 추론 병목은 GPU 한 장의 연산 능력이 아니라 랙 안에서 토큰과 KV 캐시를 옮기는 비용에 있다는 것이다. 3.7배와 2.5배 같은 배수는 칩 세대 교체만으로 나오는 숫자가 아니고, 정밀도를 내리고 단계를 쪼개고 통신 경로를 바꾼 결과가 함께 얹힌 값이다. 도입 검토에서 이 구분이 중요한 이유는 소프트웨어 쪽 기여분이 기존 하드웨어에도 소급 적용되기 때문이다.

30배와 1.6배는 성격이 정반대인 숫자다

발표에서 가장 큰 배수인 30배는 MLPerf 제출 결과가 아니다. 엔비디아는 이 수치를 세미애널리시스 AgentX의 AI 에이전트 추론 항목에서 프리뷰 테스트로 GB300 NVL72 대비 30배 더 나은 성능을 냈다고 기술했다. 즉 MLCommons가 규칙을 정하고 검증하는 MLPerf 벤치마크 밖의 측정이며, 비교 조건과 워크로드 정의를 제3자가 재현할 수 있는 형태로 공개한 항목이 아니다. 30배를 인용할 때는 프리뷰 테스트라는 단서를 같이 옮겨야 한다.

반대편에 있는 1.6배가 실무에서는 더 유용한 숫자다. 이 수치는 GB300 NVL72라는 동일 하드웨어에서 Qwen3-VL을 v6.0과 v6.1에 각각 돌린 차이이고, 그동안 바뀐 것은 소프트웨어뿐이다. 이미 구매해 설치한 랙의 처리량이 한 번의 벤치마크 주기 사이에 최대 1.6배로 올라갔다는 뜻이다.

추론 원가를 계산하는 팀에게 이 두 숫자는 서로 다른 결론을 준다. 30배는 다음 세대를 기다릴 이유로 쓰기 어렵고, 1.6배는 지금 가진 자원의 원가가 아직 내려갈 여지가 있다는 근거로 쓸 수 있다. 토큰당 원가를 하드웨어 교체로만 낮추려는 계획은 소프트웨어 개선분을 공짜로 버리는 선택이 된다. 반대로 v6.1 스택으로 올리지 않은 상태의 자체 측정값을 기준선으로 삼으면, 실제보다 부풀려진 교체 필요성을 계산하게 된다.

99% 스케일링 효율에 붙은 오프라인이라는 조건

99%라는 스케일링 효율에는 오프라인 시나리오라는 조건이 붙어 있다. MLPerf 추론은 시나리오를 나눠 측정하고, 오프라인은 요청을 한꺼번에 던져 넣고 총 처리량을 재는 방식이다. 응답 지연 제약이 걸리는 서버와 인터랙티브 시나리오는 조건이 다르며, 엔비디아가 99%를 제시한 대상은 오프라인이다.

이 조건이 서비스 설계에 직접 영향을 준다. 오프라인 처리량이 랙 네 대까지 거의 선형으로 늘어난다는 것은 배치 추론에 좋은 소식이다. 대량 문서 임베딩, 야간 일괄 분류, 데이터 라벨링, 합성 데이터 생성처럼 지연 제약이 느슨한 작업은 랙을 늘리는 만큼 그대로 이득을 본다. 반면 대화형 서비스와 실시간 에이전트는 같은 곡선을 그대로 기대하기 어렵다.

Qwen3-VL 제출이 오프라인과 서버, 인터랙티브 세 시나리오를 함께 포함했다는 점은 이 대비에서 의미가 있다. 최대 3.7배라는 표현은 세 시나리오 중 가장 유리한 값을 가리키는 상한이고, 시나리오별 값은 서로 다르다. 자기 서비스의 지연 예산이 어느 시나리오에 가까운지를 먼저 정하고 그 시나리오의 수치를 찾아 보는 것이 순서다. 상한 하나만 옮겨 적으면 용량 계획이 어긋난다.

프리뷰 제출이라는 단어가 구매 계획에 주는 의미

베라 루빈 NVL72의 이번 성적은 정식 제출이 아니라 프리뷰 제출이다. 엔비디아 스스로 첫 MLPerf 추론 프리뷰 제출이며 프리뷰 결과라고 적었다. MLPerf에서 프리뷰 범주는 아직 일반 공급되지 않은 시스템에 쓰이며, 정식 범주와 달리 이후 양산 구성에서 수치가 달라질 여유를 전제한다.

도입을 검토하는 쪽에서는 이 단어를 납기와 함께 읽어야 한다. 3.7배와 2.5배는 실제 구매 가능한 제품의 검증된 성능이 아니라 차세대 랙의 방향성을 보여 주는 지표다. 반면 같은 발표에 실린 GB300 NVL72의 수치는 이미 돌아가는 시스템의 성적이다. 2026년 4분기와 2027년 상반기 용량 계획을 세우는 팀이 참고할 기준선은 뒤쪽이고, 앞쪽은 협상과 로드맵 논의에 쓰는 자료다.

사후 결과라는 표기도 같은 맥락이다. GPT-OSS-120B와 DLRMv3의 추가 향상은 제출 마감 이후 최적화 결과이며 MLCommons 검증을 받지 않았다. 벤치마크 제도의 의미가 바로 이 지점에 있다. 같은 규칙과 같은 정확도 기준에서 제3자가 확인한 숫자와, 제조사가 자체 측정한 숫자를 한 문장 안에 섞어 놓으면 비교 가능성이 사라진다. 조달 문서에 옮길 때는 검증 상태를 열마다 따로 적는 편이 안전하다.

에지로 내려간 새 벤치마크가 가리키는 다음 경쟁

이번 v6.1에서 새로 들어온 항목은 에지 에이전트 벤치마크(Edge-Agentic)이며, 엔비디아는 젯슨 AGX 토르(Jetson AGX Thor)에 텐서RT 에지-LLM(TensorRT Edge-LLM)을 올려 Qwen3.6-27B로 제출했다. 데이터센터 랙 경쟁과 별개로, 에이전트 워크로드를 장치 위에서 재는 항목이 벤치마크 체계에 편입됐다는 뜻이다.

이 신설 항목이 중요한 이유는 벤치마크가 산업의 관심사를 따라 움직인다는 데 있다. MLPerf에 새 항목이 생기는 시점은 대체로 그 워크로드가 조달 문서에 들어가기 시작한 시점과 겹친다. 에지에서 도구를 호출하고 여러 단계를 스스로 진행하는 에이전트를 측정하겠다는 항목이 생겼다는 것은, 단순 추론 지연이 아니라 다단계 작업 완수를 장치 성능의 기준으로 보겠다는 신호다.

국내 제조와 로봇, 차량용 소프트웨어 팀에는 이 항목이 실질적인 참고점이 된다. 270억 파라미터급 모델을 에지 모듈에서 에이전트 형태로 돌린 공개 측정값이 생겼기 때문이다. 다만 이번 발표에 담긴 것은 제출 사실과 구성이며, 구체적인 처리량이나 전력 수치는 함께 제시되지 않았다. 온디바이스 에이전트를 검토하는 팀은 MLCommons가 공개하는 v6.1 결과표에서 이 항목의 원 수치를 직접 확인하는 것이 정확하다.

출처: NVIDIA Vera Rubin NVL72 Delivers Leading Performance in MLPerf Inference v6.1 Debut (엔비디아, 2026년 9월 16일)