BDH-CQ: 1억 5,000만 파라미터 모델이 ARC-AGI-1에서 과제당 0.0007달러로 29.5%를 냈다

패스웨이(Pathway) 연구진은 2026년 8월 10일 arXiv에 공개한 논문 'BDH-CQ: In-Context Learning with Recurrent Latent Reasoning'에서 1억 5,000만 파라미터 구성이 ARC-AGI-1 공개 평가셋에서 pass@2 29.5%를 과제당 0.0007달러에 기록했다고 보고했다. 저자들은 이 지점이 기존에 보고된 ARC-AGI-1 비용 대비 정확도 파레토 경계를 돌파했으며 벤치마크 비용 효율에서 새로운 최고 기록이라고 밝혔다. 논문의 저자는 아드리안 코소프스키, 얀 호로프스키, 리처드 종을 포함한 9명이다.

중간 추론을 말로 뱉지 않고 잠재 공간에서 반복 계산한다

BDH-CQ의 설계 핵심은 중간 추론을 텍스트로 생성하지 않고 고차원 연속 잠재 공간에서 반복 계산으로 처리한 뒤 최종 답만 디코딩하는 구조다. 추론 시점에 들어오는 시연 입력이 모델의 순환 메모리를 계속 갱신하고, 질의는 그 메모리 위에서 반복 연산으로 풀린다. 사고 사슬 텍스트가 생성되지 않으므로 추론 단계가 늘어나도 출력 토큰이 늘지 않는다.

논문은 두 상태를 개념적으로 구분한다. 맥락 메모리 S_t는 증거가 들어올 때마다 갱신되며 문맥 내 학습을 담당하고, 추론 작업공간 H_r은 현재 질의를 푸는 진행 중인 계산을 담는다. 이 분리가 곧 이 모델의 주장이다. 무엇을 배웠는지와 지금 무엇을 계산하는지를 서로 다른 저장소에 두면, 시연에서 규칙을 뽑는 일과 그 규칙을 새 입력에 적용하는 일을 하나의 토큰 열에 섞어 넣지 않아도 된다.

기반은 패스웨이가 2025년 공개한 BDH(Dragon Hatchling) 계열이다. 논문은 큰 뉴런 공간에서 ReLU 저랭크 변환과 선형 어텐션을 쓰는 구성이라고 설명한다. 트랜스포머의 어텐션 캐시가 문맥 길이에 따라 커지는 구조와 달리, 반복 횟수를 늘려도 메모리가 같은 방식으로 팽창하지 않는다는 점이 비용 주장의 뿌리다.

57배와 11배 사이, 비용 우위는 남의 가격표에 매여 있다

논문이 제시한 비용 우위는 57배와 11배 사이에서 움직이며, 갈림길은 비교 대상인 GPT-5.6 루나(Low)의 공개 API 가격을 언제 시점으로 잡느냐다. 저자들은 ARC Prize가 2026년 7월 기준으로 보고한 비용을 쓰면 GPT-5.6 루나(Low)가 과제당 0.040달러에 34.2%이므로 BDH-CQ가 약 57배 저렴하다고 적었다. 그리고 오픈AI가 2026년 7월 30일 단행한 80% 공개 API 가격 인하를 반영하면 약 11배로 줄어든다고 같은 문단에서 명시했다.

수치 두 개가 한 논문 안에 공존한다는 사실이 이 결과의 성격을 규정한다. 파레토 경계 돌파라는 주장에서 세로축은 모델의 성질이지만 가로축은 경쟁사의 가격 정책이다. 오픈AI가 한 번 더 가격을 내리면 배수는 다시 줄고, 올리면 늘어난다. 아키텍처가 바뀌지 않아도 헤드라인 숫자가 바뀐다는 뜻이다.

정확도 쪽 격차는 가격과 달리 남는다. GPT-5.6 루나(Low)는 같은 평가에서 34.2%이고 BDH-CQ는 29.5%이므로 4.7%포인트 차이가 있다. 비용 배수를 강조하는 문장 구조에서는 이 간격이 잘 보이지 않지만, ARC-AGI-1에서 4.7%포인트는 문항 수로 환산하면 작지 않다. 정확히 말하면 이 결과는 '더 잘 푼다'가 아니라 '같은 돈으로 훨씬 많이 시도할 수 있다'에 가깝다.

0.0007달러는 API 요금이 아니라 GPU 초를 환산한 값이다

과제당 0.0007달러라는 값은 상용 API 요금이 아니라 H200 GPU 0.85초를 시간당 3달러로 환산해 저자들이 계산한 수치다. 논문은 기본 설정에서 1억 5,000만 파라미터 구성이 과제당 약 0.85 H200 GPU초에 pass@2 29.5%에 도달한다고 적었고, 시간당 3달러를 곱해 0.00070달러를 얻었다고 밝혔다.

비교 대상은 다른 층위의 숫자다. GPT-5.6 루나(Low)의 0.040달러는 오픈AI가 마진과 운영비를 얹어 책정한 판매 가격이고, BDH-CQ의 0.0007달러는 자체 실행 원가다. 같은 회계 기준으로 놓으려면 BDH-CQ 쪽에도 서빙 오버헤드와 가용률, 배치 효율이 붙어야 하고, GPT-5.6 쪽에서는 원가를 알 수 없다. 저자들이 '계산된 비용'이라고 표기한 이유가 여기 있다.

그럼에도 이 계산 방식에는 실무적 가치가 있다. 자체 하드웨어에서 모델을 돌리는 팀은 API 요금이 아니라 정확히 과제당 GPU 초로 예산을 세운다. 0.85초라는 값은 검증 가능한 형태의 단위 원가이며, 파라미터 1억 5,000만 개짜리 모델이라는 조건과 함께 보면 GPU 한 장으로 처리량을 얼마나 뽑을 수 있는지 바로 추정할 수 있다.

개입 실험이 그린 실패 지도가 총점보다 정보량이 많다

논문의 통제된 ARC 유사 개입 실험은 BDH-CQ가 어떤 종류의 일반화에 성공하고 어디에서 무너지는지를 항목별 분수로 보여준다. 규칙 전파는 거리 2에서 8까지 pass@1과 pass@2 모두에서 48/48로 완전히 외삽했고, 복사도 대상 위치가 하나에서 넷으로 늘어나는 동안 48/48을 유지했다. 시연에서 뽑은 변환을 반복 적용하는 능력 자체는 확실하다.

무너지는 지점은 세 가지다. 순서 과제는 길이 5까지 거의 포화 상태이다가 길이 6에서 29/36, 길이 7에서 8/24, 길이 8에서 1/24로 급락한다. 중첩 과제는 깊이 4까지 거의 포화이다가 깊이 5에서 29/36으로 떨어진다. 지지 사슬 길이 실험에서는 객체 1개일 때 80.0%, 3개일 때 67.5%, 5개일 때 52.5%, 8개일 때 27.5%로 단조 감소한다.

합성 결과는 더 날카롭다. 회전과 재배치의 합성은 72/72로 완전히 성공하는데, 반사와 재배치의 합성은 47/72에 그친다. 색 교체는 원래 모티프 집합 단독으로는 26/72이고, 재배치와 합성하면 0/72로 완전히 실패한다. 두 규칙 중 어느 쪽을 적용할지 모서리 표시로 골라야 하는 조건부 선택은 56.7%다.

이 지도를 한 문장으로 요약하면 이렇다. BDH-CQ는 규칙 하나를 정확히 뽑아 멀리까지 밀어붙이는 데 강하고, 규칙 두 개를 결합하거나 상태를 여러 개 동시에 유지하는 데 약하다. 잠재 공간 반복 계산이라는 설계가 무엇을 사고 무엇을 파는지를 이보다 잘 드러내는 자료는 총점 29.5% 안에 들어 있지 않다. 논문이 벤치마크 점수와 별도로 개입 실험 절을 둔 선택이 이 발표에서 가장 재현 가치가 높은 부분이다.

훈련 데이터 구성이 '일반 추론 모델'이라는 해석을 제한한다

BDH-CQ의 훈련 데이터는 ARC-AGI-1과 RE-ARC, ConceptARC, ARC-Heavy, ARC-GEN100K를 포함한 ARC 계열 자료를 비공개 자체 큐레이션 데이터와 섞고 증강을 더한 구성이다. 논문이 밝힌 이 목록은 결과의 범위를 규정한다. 이 모델은 ARC 형식의 격자 변환 과제를 풀도록 훈련된 전문 모델이며, 언어 이해나 코드 생성 같은 다른 축의 능력을 함께 주장하지 않는다.

전문 모델이라는 성격이 결과를 깎아내리지는 않는다. 오히려 이 논문의 실질적 주장은 그쪽에 가깝다. 좁게 정의된 구조적 추론 과제라면 1억 5,000만 파라미터와 GPU 1초 미만으로 프런티어 모델의 30%대 성능 구간에 진입할 수 있다는 것이다. 다만 '추론 비용을 11배 낮췄다'는 요약이 범용 모델의 대체 가능성으로 번역되는 순간 논문이 하지 않은 주장이 된다.

한 가지 더 짚을 것이 있다. 공개 평가셋과 같은 계열의 데이터로 훈련한 모델을 그 공개 평가셋에서 채점한 구성이므로, 여기서의 29.5%는 완전히 미공개인 과제 분포에서의 기대 성능과 같지 않다. 패스웨이가 ARC 유사 과제 생성기를 별도 저장소로 공개해 온 맥락도 같은 방향을 가리킨다. 개입 실험이 보여준 합성 실패는 이 한계가 실제로 어디에서 드러나는지를 짚어 준다.

재현할 수 없는 형태로 발표된 최고 기록

논문은 차원과 정확한 갱신 규칙, 구현 세부가 비공개라고 명시했고, 가중치나 학습 코드 공개에 관한 언급을 담지 않았다. 잠재 반복 횟수 R도 일반 수식으로만 제시되고 평가에 실제로 쓰인 값은 공개되지 않았다. 훈련 연산 예산과 학습 기간도 밝히지 않았다.

이 조건에서 외부가 검증할 수 있는 것은 결과의 재현이 아니라 결과의 일관성이다. ARC-AGI-1 공개 평가셋의 정답은 누구나 대조할 수 있으므로 29.5%라는 값 자체는 가중치가 공개되는 순간 확인 가능해진다. 반대로 0.85 GPU초라는 값은 구현이 공개되기 전까지 저자들의 보고 외에 확인 경로가 없다.

파레토 경계라는 주장의 무게도 여기서 정해진다. 경계를 옮겼다는 문장은 재현 가능한 좌표계 위에서만 검증되는데, 세로축의 29.5%는 공개 평가셋이라 확인 가능하고 가로축의 0.0007달러는 저자들의 하드웨어 가정 위에 있다. 파레토 주장의 절반만 외부에서 확인된다.

국내 팀이 여기서 실제로 가져갈 것

국내 팀이 BDH-CQ에서 곧바로 옮겨올 수 있는 지점은 비공개 아키텍처가 아니라 과제당 GPU 초를 비용 지표로 삼는 평가 방식이다. API 요금 대비 정확도로만 모델을 고르는 팀은 자체 서빙 전환 시점의 손익분기를 계산할 좌표를 갖지 못한다. 과제 하나에 GPU 몇 초가 드는지를 먼저 재 두면 프런티어 API와 소형 전문 모델 사이의 선택이 취향이 아니라 산수가 된다.

두 번째는 개입 실험의 형식이다. 총점 하나로 모델을 채택하는 대신 전파, 복사, 순서, 중첩, 합성, 조건부 선택처럼 능력을 축별로 쪼개 각각의 붕괴 지점을 재는 절차는 어떤 도메인에도 옮길 수 있다. 문서 처리든 표 변환이든, 길이 6에서 정확도가 꺾이는 모델을 길이 10 데이터에 붙이면 배포 시점에 뒤집힌다.

2026년 8월 기준 확실한 것은 좁은 구조적 추론 과제에서 1억 5,000만 파라미터가 GPU 1초 미만으로 pass@2 29.5%에 도달했다는 사실이다. 이 결과가 ARC 밖의 과제로 확장되는지는 논문이 다루지 않았고, 비공개 구현이 공개되기 전까지는 외부에서 답할 수 없다.

출처: arXiv 논문 'BDH-CQ: In-Context Learning with Recurrent Latent Reasoning'(arXiv:2608.09888, 2026년 8월 10일 제출; 저자 뵈른 엥달·아드리안 코소프스키·얀 호로프스키·주잔나 스타미로프스카·프셰미스와프 우즈난스키·준린 장·로한 파드케·레미기우시 키나스·리처드 종. 1억 5,000만 파라미터 구성 ARC-AGI-1 공개 평가셋 pass@2 29.5%·과제당 약 0.85 H200 GPU초·시간당 3달러 환산 0.00070달러, ARC Prize 2026년 7월 기준 GPT-5.6 루나(Low) 34.2%·0.040달러 대비 약 57배, 오픈AI 2026년 7월 30일 80% 가격 인하 반영 시 약 11배, 맥락 메모리 S_t와 추론 작업공간 H_r 분리·ReLU 저랭크 변환과 선형 어텐션, 훈련 데이터 ARC-AGI-1·RE-ARC·ConceptARC·ARC-Heavy·ARC-GEN100K 및 비공개 큐레이션, 개입 실험 전파 48/48·복사 48/48·순서 길이 6 29/36과 길이 7 8/24와 길이 8 1/24·중첩 깊이 5 29/36·회전 합성 72/72·반사 합성 47/72·색 교체 26/72와 합성 시 0/72·조건부 선택 56.7%·지지 사슬 80.0%에서 27.5%, 차원과 갱신 규칙 및 구현 세부 비공개 명시) 기반 ASAP 정리.