엔비디아 AVO가 ARC-AGI-3 공개 세트에서 RHAE 100.00을 기록했다: 25개 환경 183개 레벨을 6,624번의 행동으로 끝냈다

엔비디아는 2026년 8월 21일 자사의 장기 자율 에이전트 구조 AVO(Agentic Variation Operators)가 ARC-AGI-3 공개 세트에서 RHAE 100.00을 기록했다고 발표했다. 25개 환경에 걸친 183개 레벨 전부를 6,624번의 환경 행동으로 통과한 결과이며, 에이전트의 기반 모델은 클로드 오퍼스 5다. 엔비디아는 같은 글에서 이 결과가 세미프라이빗 세트나 완전 비공개 경쟁 세트의 성적이 아니라 공개 세트 성적이라는 점, 그리고 통제된 절제 실험으로 해석해서는 안 된다는 점을 함께 못 박았다. ASAP은 RHAE 100.00이 실제로 무엇을 측정한 값인지 분해한 뒤, 이 발표가 왜 모델 순위표와 에이전트 순위표를 갈라놓는 사건인지, 그리고 엔비디아 자신이 붙인 단서를 걷어내면 무엇이 남는지까지 짚는다.

RHAE 100.00은 정답률이 아니라 사람 대비 행동 효율까지 포함한 값이다

RHAE는 Relative Human Action Efficiency의 약자이며, 과제 완수 여부와 레벨별 행동 효율을 처음 도전한 사람의 기준선에 상대적으로 결합한 지표다. 100.00이라는 숫자를 정답률 100%로 옮기면 원문이 말하지 않은 주장이 된다. 이 값은 183개 레벨을 모두 통과했다는 사실과, 그 통과에 쓴 행동 수가 사람의 첫 도전 기준선 대비 어느 위치인지를 함께 담고 있다.

ARC-AGI-3의 환경 설계가 이 지표를 필요하게 만든다. 에이전트는 설명도, 명시된 규칙도, 제시된 목표도 없는 낯선 게임형 환경에 그대로 투입된다. 무엇을 해야 하는지부터 상호작용으로 알아내야 하고, 환경의 작동 방식을 추론한 뒤, 점점 어려워지는 레벨을 효율적으로 통과해야 한다. 정답을 맞히는 문제가 아니라 목표 자체를 발견하는 문제이므로, 맞고 틀림만 세는 지표로는 성능이 잡히지 않는다.

행동 수 6,624라는 값이 여기서 의미를 갖는다. 183개 레벨을 나누면 레벨당 평균 약 36번의 환경 행동이다. 규칙을 모르는 상태에서 시작해 레벨 하나를 평균 36수 안에 정리했다는 뜻이며, 이 효율이 100.00이라는 최종 점수를 구성하는 절반이다.

AVO는 모델이 아니라 지속 메모리와 감독자를 얹은 실행 구조다

AVO는 엔비디아가 개발한 범용 코딩 에이전트 시스템이며, 새로 학습한 모델이 아니다. 이름에 들어간 Agentic Variation Operators는 진화적 탐색에서 미리 정해 둔 변형 단계를 쓰는 대신, 에이전트가 매 반복마다 무엇을 검사하고 무엇을 수정하고 무엇을 시험하고 무엇을 커밋할지 스스로 결정한다는 뜻이다. 변형 연산자가 스크립트로 고정된 것이 아니라 에이전트의 판단으로 생성된다는 점이 이름의 핵심이다.

구조는 세 겹으로 설명된다. 첫째는 주 에이전트 루프이며, 맥락을 검사하고 계획을 세우고 변경을 구현하고 결과를 평가하는 과정을 도구와 함께 반복한다. 둘째는 지속 메모리이며, 이전 구현과 평가 결과와 컴파일러 및 프로파일러 출력과 누적된 추론을 보존한다. 셋째는 감독 계층이며, 탐색 궤적 전체를 지켜보다가 주 에이전트가 정체에 빠지면 다른 전략 쪽으로 방향을 튼다.

이 세 겹이 겨냥하는 문제는 같다. 장기 과제에서 에이전트가 매번 탐색 공간을 처음부터 다시 세우는 낭비와, 한 방향에 갇혀 진전 없이 반복하는 정체다. 지속 메모리는 현재 상태에서 이어서 시작하게 만들고, 감독 계층은 사람이 개입하지 않아도 궤도를 수정하게 만든다. 며칠에 걸치는 작업을 사람 없이 굴리려면 둘 다 필요하다는 것이 이 설계의 전제다.

엔비디아는 30%와 100.00을 나란히 놓지 말라고 직접 못 박았다

이 발표에서 가장 자주 인용될 대비는 클로드 오퍼스 5 단독 약 30%와 AVO 안의 클로드 오퍼스 5 100.00이다. ARC 프라이즈가 높은 추론 강도 설정에서 클로드 오퍼스 5에 대해 별도로 보고한 값이 약 30%이고, 같은 모델 계열이 AVO라는 시스템 안에서 100.00을 기록했다는 구도다. 같은 모델인데 껍데기를 바꾸니 성적이 세 배가 됐다는 이야기로 읽기 쉽다.

그런데 이 대비를 만든 엔비디아 본인이 그 해석을 막아 두었다. 원문은 자사 실행이 같은 모델 계열을 다른 추론 설정에서 썼고 에이전트 시스템과 평가 구성 자체가 실질적으로 다르다고 적은 뒤, 따라서 이 숫자들을 AVO의 성능 기여를 직접 측정한 값으로 해석해서는 안 된다고 명시했다. VISTA와의 비교에 대해서도 통제된 절제 실험이 아니라고 못 박았고, 두 시스템이 에이전트 백엔드와 관측 표현과 메모리와 맥락 관리를 비롯한 구현 세부에서 다르다고 나열했다.

이 단서가 붙어 있다는 사실 자체가 발표의 성격을 말해 준다. 30%에서 100.00으로 갔다는 문장은 두 개의 다른 실험을 이어 붙인 것이며, 그 사이에는 추론 강도 설정과 관측 방식과 평가 구성이라는 최소 세 개의 변수가 동시에 바뀌어 있다. 하네스가 기여한 몫이 얼마인지는 이 발표로 확정되지 않는다. 확정된 것은 AVO라는 구성 전체가 공개 세트를 완주했다는 사실이다.

원문이 대신 제시하는 명제는 더 좁고 더 견고하다. 모델을 평가하는 일과 에이전트를 평가하는 일은 같지 않다는 것이다. 이 명제는 절제 실험 없이도 성립하며, 실제로 이번 결과가 증명하는 범위와 정확히 겹친다.

VISTA와의 차이는 관측 방식과 행동 수 12%로 나타났다

비교 대상인 VISTA는 ARC-AGI-3용 다른 에이전트 하네스이며, 같은 183개 레벨을 7,542번의 환경 행동으로 통과했다. AVO의 6,624번은 여기에 비해 약 12% 적은 수치다.

두 시스템의 구성 차이는 관측 단계에서부터 시작한다. VISTA는 렌더링된 512×512 PNG 이미지를 관측으로 사용하고, 클로드 오퍼스 5는 클로드 코드를 통해, GPT-5.6 Sol은 코덱스를 통해 하네스에 결합한다. AVO는 이미지 대신 64×64 텍스트 격자를 사용하고, 지속 메모리와 감독 계층과 자체 실행 루프를 갖춘 엔비디아의 장기 에이전트 구조를 그대로 쓴다.

관측을 이미지에서 텍스트 격자로 바꾼 선택은 사소해 보이지만 방향이 분명하다. 512×512 픽셀을 시각 인코더로 통과시키는 대신 64×64 격자를 텍스트로 직접 넣으면, 격자 좌표와 셀 값이 손실 없이 전달되고 토큰당 정보 밀도가 올라간다. 원문이 이 대비를 굳이 적어 둔 이유는 성능 차이가 관측 양식에서만 나오지 않는다는 점을 말하기 위해서이지만, 반대로 읽으면 격자 세계를 다루는 과제에서 관측 표현의 선택이 아직 열린 설계 변수라는 뜻이기도 하다.

7일 연속 실행에서 커널 40개를 커밋한 기록이 벤치마크 밖의 증거다

엔비디아는 ARC-AGI-3 외에 GPU 커널 최적화에서도 AVO를 돌렸다. 7일 연속 실행 동안 500개가 넘는 최적화 방향을 자율적으로 탐색했고 커널 40개 버전을 커밋했다. 결과 커널은 DGX B200에서 cuDNN 대비 최대 3.5%, FlashAttention-4 대비 최대 10.5% 앞섰으며, 이 결과를 그룹 쿼리 어텐션에 맞춰 적응시키는 데는 약 30분의 자율 작업이 걸렸다.

이 두 번째 사례가 첫 번째보다 설득력이 큰 지점이 있다. ARC-AGI-3은 벤치마크이고 공개 세트는 학습 데이터 오염과 과최적화 논란에서 자유롭지 않지만, 커널 최적화는 실행 시간이라는 반박 불가능한 피드백이 매 반복마다 주어지는 과제다. 500개 방향을 탐색하고 40개를 커밋했다는 기록은 탐색과 폐기의 비율이 12대 1이었다는 뜻이며, 대부분의 시도가 버려지는 과정을 사람 없이 7일 동안 유지했다는 사실이 지속 메모리와 감독 계층이 겨냥한 문제를 그대로 보여 준다.

수치를 읽을 때 조심할 부분도 같은 자리에 있다. 최대 3.5%와 최대 10.5%는 최대값이며 평균이 아니다. 어떤 형상과 어떤 조건에서 그 최대값이 나왔는지는 이 발표만으로 알 수 없고, 커널 최적화에서 특정 형상에 맞춘 이득이 다른 형상으로 잘 옮겨 가지 않는 일은 흔하다. 그룹 쿼리 어텐션 적응에 30분이 걸렸다는 기록이 이 한계를 어느 정도 상쇄하지만, 일반화의 폭 자체는 아직 공개된 범위 밖이다.

모델 순위표와 에이전트 순위표가 갈라지기 시작했다

이번 발표를 업계 흐름 위에 놓으면 위치가 분명해진다. 지난 몇 년의 경쟁은 기반 모델의 벤치마크 점수를 올리는 쪽으로 정렬돼 있었고, 순위표 한 줄이 곧 제품 경쟁력으로 번역됐다. 그런데 여기서 100.00을 만든 주체는 모델을 만든 회사가 아니라 그 모델을 감싼 구조를 만든 회사다. 엔비디아가 클로드 오퍼스 5 위에 자사 구조를 얹어 앤트로픽의 모델 단독 성적과 다른 결과를 만들어 낸 형태다.

이 구도가 굳어지면 평가 체계에 두 층이 필요해진다. 모델의 능력을 재는 층과, 그 모델을 어떤 메모리와 어떤 도구와 어떤 복구 절차로 감쌌을 때 무엇을 끝낼 수 있는지를 재는 층이다. 지금의 공개 순위표 대부분은 앞의 층만 재고 있으며, 사용자가 실제로 마주하는 제품은 뒤의 층이 결정한다. 모델 순위가 제품 경험을 예측하지 못하는 어긋남이 커질수록 후자를 재는 표준이 요구된다.

동시에 이 해석을 과장하지 않는 편이 정확하다. 하네스가 주인공이라는 결론은 이번 발표가 통제된 절제 실험을 포함했을 때 성립하는데, 엔비디아는 그 실험을 하지 않았다고 스스로 밝혔다. 지금 확정할 수 있는 문장은 하네스가 모델보다 중요하다는 것이 아니라, 모델 점수만으로 에이전트 성능을 예측할 수 없다는 것이다. 두 문장은 겹치는 부분이 있지만 같지 않다.

한국 팀이 곧바로 옮겨 쓸 수 있는 부분은 메모리와 감독자다

국내에서 자체 기반 모델을 학습할 수 있는 조직은 소수이지만, 에이전트 구조를 설계하는 일은 모델 학습에 비해 진입 비용이 낮다. 이번 발표에서 재현 가능한 요소는 특정 모델이 아니라 구조의 두 부품이다. 이전 시도와 평가 결과와 도구 출력을 보존해 다음 반복이 처음부터 다시 시작하지 않게 만드는 지속 메모리, 그리고 진전이 멈췄는지를 별도로 판단해 방향을 트는 감독 계층이다.

현재 국내 다수 팀의 에이전트 구현이 걸리는 지점도 대체로 이 둘이다. 맥락 창이 차면 이전 시도의 기록이 잘려 나가 같은 실패를 반복하고, 정체를 감지하는 별도 장치가 없어 사람이 지켜보다가 끊어 줘야 한다. 두 문제 모두 더 좋은 모델로 해결되지 않으며, 실행 구조를 어떻게 짜느냐의 문제다.

과제 선택 기준도 이 사례에서 읽을 수 있다. AVO가 성과를 낸 두 영역은 정답이 미리 있는 문제가 아니라, 시도의 좋고 나쁨을 기계가 즉시 채점할 수 있는 문제였다. 게임 환경에서는 레벨 통과 여부가, 커널 최적화에서는 실행 시간이 그 역할을 했다. 자동 채점 신호가 없는 과제에 같은 구조를 얹으면 감독 계층이 무엇을 근거로 정체를 판단할지부터 막힌다. 장기 자율 실행을 검토하는 팀이라면 도입 전에 채점 신호부터 확보하는 순서가 맞다.

남는 질문은 공개 세트 밖에서도 같은 값이 나오는가다

가장 큰 미확인 항목은 엔비디아가 스스로 표시해 두었다. 이번 결과는 25개 환경으로 구성된 공개 세트에 한정되며, 세미프라이빗 세트와 완전 비공개 경쟁 세트의 성적이 아니다. ARC 프라이즈가 비공개 세트를 따로 두는 이유가 공개 세트에 대한 과적합을 걸러내기 위해서이므로, 이 구분은 형식적 단서가 아니라 결과의 유효 범위를 규정하는 조건이다.

두 번째 질문은 비용이다. 발표는 행동 수 6,624를 제시했지만, 그 행동을 만들어 내기까지 소모한 토큰과 추론 호출과 실제 금액은 공개되지 않았다. 7일 연속 실행이라는 커널 사례의 기록을 보면 이 구조가 전제하는 자원 규모가 작지 않다는 점은 짐작할 수 있으나, 짐작은 수치가 아니다. 같은 과제를 사람이 했을 때와 비교한 비용 효율은 이 발표로 판단할 수 없다.

세 번째 질문은 이식성이다. AVO가 클로드 오퍼스 5 대신 다른 모델 위에서 얼마나 유지되는지는 GPT-5.6 Sol을 이용한 부분 집합 실험 외에는 공개되지 않았다. 구조의 기여가 크다면 모델을 바꿔도 성능이 어느 정도 유지돼야 하고, 유지되지 않는다면 이번 결과는 특정 모델과 특정 구조의 결합에 한정된 성과가 된다. 이 값이야말로 하네스 논쟁을 종결시킬 숫자이지만 아직 나오지 않았다.

현재 시점에서 확정된 사실은 세 가지다. 엔비디아의 AVO가 ARC-AGI-3 공개 세트 25개 환경 183개 레벨을 6,624번의 행동으로 완주해 RHAE 100.00을 기록했고, 기반 모델은 클로드 오퍼스 5이며, 이 결과는 공개 세트에 한정되고 통제된 절제 실험이 아니다. 나머지는 아직 열려 있다.

출처: 엔비디아 기술 블로그 NVIDIA AVO Reaches 100% on ARC-AGI-3, Demonstrating a Frontier-Level General-Purpose Architecture for Long-Horizon Autonomous Agents(2026년 8월 21일)와 해당 글이 인용한 ARC 프라이즈 클로드 오퍼스 5 결과 페이지 기반 ASAP 정리