구글 리서치가 쿼리 팬아웃을 5,390만 개 파라미터 확산 모델로 압축해 최대 20배 빠르게 만들었다

구글 리서치는 2026년 9월 15일 블로그에서 Retrieve-for-Train(R4T)을 공개했다. 강화학습으로 팬아웃 언어모델을 한 번 학습시킨 뒤 그 행동을 5,390만 개 파라미터 확산 모델에 증류해 배포하는 3단계 방식이며, 하나의 비자기회귀 패스로 열 개의 검색 방향을 동시에 만든다. 논문 arXiv 2603.06397의 지연 측정에서 자기회귀 팬아웃은 배치 8에서 약 1.46초, 배치 1024에서 약 50초가 걸렸고 확산 모델은 같은 조건에서 0.07초와 4.21초를 기록해 12배에서 20배의 속도 차이가 났다. 품질도 함께 올라 Polyvore 패션 데이터셋의 개방형 과제에서 다양성 점수는 Gemma3 4B 제로샷의 56.0에서 R4T-FOLM의 76.8로, 평균은 38.5에서 49.1로 올랐다. ASAP은 이 방식이 무엇을 바꾸고 AI 검색 환경에서 어디까지 확장해 읽을 수 있는지 구분한다.

팬아웃이 무너지는 방식은 두 가지이고 둘의 원인이 다르다

논문이 다루는 문제는 집합값 검색이다. 넓은 의도를 받은 시스템이 하나의 최적 결과가 아니라 다양성과 커버리지와 상호보완성과 일관성 같은 상위 속성을 함께 만족하는 결과 묶음을 돌려줘야 하는 상황이며, 이때 정답 집합이 유일하지 않다. 기존의 지도학습 데이터셋은 상위 1건 검색만 다루므로 이런 목표를 담지 못하고, 그래서 실무에서는 넓은 질의를 여러 하위 질의로 펼치는 팬아웃을 쓴다.

구글 리서치 블로그가 지목한 실패는 두 갈래다. 하나는 패러프레이즈 붕괴이며, 모델이 서로 다른 측면을 탐색하는 대신 뜻이 거의 같은 질의를 반복해 만드는 현상이다. 논문의 정성 예시가 이를 그대로 보여 준다. 보헤미안 페스티벌 스타일이라는 넓은 질의에 Qwen3 4B 제로샷은 보헤미안 페스티벌 스타일과 보헤미안 페스티벌 패션처럼 거의 동의어인 변형을 내놓았고, R4T는 보헤미안 페스티벌 드레스와 스트로 부츠 페스티벌 스타일과 레이스 보헤미안 페스티벌처럼 갈라지는 방향을 내놓았다.

다른 하나는 자기회귀 지연이다. 하위 질의를 순차로 생성하고 그때마다 검색을 호출하면 토큰을 길게 뽑는 비용이 그대로 응답 시간에 들어간다. 1초 아래를 맞춰야 하는 프로덕션 검색에서는 이 구조 자체가 병목이다. 두 실패의 원인이 다르다는 점이 중요하다. 붕괴는 목적 함수의 문제이고 지연은 배포 형태의 문제이므로, 하나를 고쳐도 다른 하나는 남는다.

강화학습을 배포에서 빼고 학습에만 한 번 쓰는 것이 설계의 핵심이다

R4T는 강화학습을 목적 변환기로 한 번만 쓴다. 1단계에서 팬아웃 언어모델을 합성 보상으로 강화학습하는데, 보상은 데이터베이스 충실도를 재는 근거성과 Vendi Score로 재는 다양성과 원래 질의에 대한 의미적 정합성 세 항목을 가중합한 값이다. 학습은 소프트 PPO 정규화를 붙인 소프트 GRPO로 진행되고, 베이스 모델은 Gemma3 4B와 Qwen3 4B 두 개의 40억 개 파라미터 모델이다.

2단계는 감독 신호를 합성하는 단계다. 학습이 끝난 팬아웃 모델을 행동 생성기로 쓰면서 각 질의마다 팬아웃 출력을 샘플링하고 고정된 데이터베이스에 검색을 실행해 쿼리와 목표 집합 쌍을 오프라인으로 만든다. 사람의 라벨링이 필요 없다는 것이 이 단계의 요점이다. 목표 텐서를 무엇으로 채우는지는 과제에 따라 다르다. 개방형 과제에서는 검색된 콘텐츠의 임베딩을 쓰고, 약지도 조합 과제에서는 최적화된 하위 질의의 임베딩을 써서 탐색 전략 자체를 내재화시킨다.

3단계에서 5,390만 개 파라미터 확산 검색기가 질의 임베딩에서 목표 임베딩 집합으로 가는 조건부 분포를 학습한다. 구현은 EDM 프레임워크 안의 분산 폭발형 확산이고, 디노이저는 트랜스포머이며 질의 임베딩은 교차 어텐션으로 주입되고 학습 중 질의를 무작위로 떨어뜨려 분류기 없는 가이던스를 쓴다. 추론에서는 확률 흐름 방정식을 풀어 얻은 결과를 열 개 임베딩으로 잘라 최근접 이웃 검색으로 실제 콘텐츠에 연결한다. 집합값 검색은 순서와 무관하므로 학습 중 목표 텐서의 행을 무작위로 섞어 순열 강건성을 확보했다.

이 구조의 의미는 비용의 위치를 옮긴 데 있다. 강화학습으로 좋은 팬아웃 행동을 찾는 비싼 작업은 학습 시점에 한 번 치르고, 배포 시점에는 가벼운 확산 사전분포만 남는다. 논문의 표현으로는 무거운 시스템 2 자기회귀 생성을 가벼운 시스템 1 샘플링으로 바꾼 것이다.

보상에서 다양성을 빼면 모델은 line ending을 반복한다

논문의 개방형 과제 절제 실험은 보상 설계가 이 방법의 절반이라는 점을 분명히 보여 준다. 근거성 보상만으로 학습하면 정책은 의미 없는 문자열로 수렴했고, 논문이 든 예시는 line ending line ending line ending이다. 특정 데이터베이스 항목과의 임베딩 거리를 최소화하는 데는 이 문자열이 유리했기 때문이다. 근거성과 정합성을 함께 쓰면 붕괴는 오히려 더 빨리 일어났고, 정책이 원래 질의의 패러프레이즈를 반복해 정합성을 손쉽게 최대화하면서 의미적 분산을 버렸다.

세 항목을 함께 최적화할 때만 안정적인 GRPO 학습이 나왔다. 가중치 비율을 바꾼 실험도 방향이 뚜렷하다. 근거성이 지배하면 다양성이 오르는 대신 정합성이 떨어져 데이터베이스 근접성에 과하게 쏠리고, 정합성과 다양성을 강조하면 탐색이 억제돼 다른 해석을 덮는 폭이 줄었다. 논문은 다양성과 정합성이 서로를 잡아 주는 대항 앵커로 작동해 지름길 해법이 통하지 않는 영역으로 정책을 밀어 넣는다고 설명한다.

이 관찰이 이 논문에서 가장 재사용 가능한 부분이다. 검색이나 추천 파이프라인에서 단일 지표로 보상을 설계하면 모델은 그 지표를 만족시키는 가장 싼 퇴화 해법을 찾아낸다는 사실을 구체적인 출력물로 보여 줬기 때문이다. line ending이라는 문자열은 우스워 보이지만, 임베딩 공간에서 최적화되는 시스템이 사람이 읽을 수 없는 해법으로 빠질 수 있다는 경고이기도 하다.

패션과 음악 두 데이터셋에서 점수가 갈린 자리

실험은 Polyvore 패션 데이터셋과 전문가가 만든 재생목록으로 구성된 자체 음악 데이터셋에서 이뤄졌다. 후보 풀은 과제 1에서 컬렉션 21,888개, 과제 2에서 아이템 142,472개이고 음악은 재생목록 임베딩 8,522개다. 임베딩 백본은 Polyvore에서 마트료시카 표현학습으로 학습한 CLIP 계열이고 차원은 128, 음악에서는 MuLan이다. 비교 대상은 팬아웃을 쓰지 않는 기준선, 제로샷 팬아웃 세 종류(Gemini 2.5 Flash, Gemma3 4B, Qwen3 4B), 그리고 제로샷 팬아웃을 다섯 번 돌려 보상이 가장 높은 결과를 고르는 Best-of-N이다. 하위 질의 수는 모두 10개로 맞췄다.

개방형 과제의 Polyvore 결과를 보면 팬아웃 자체의 효과와 R4T의 효과가 분리된다. 팬아웃을 쓰지 않은 기준선의 평균은 26.1이고 Gemma3 4B 제로샷은 38.5, Best-of-N은 40.9, R4T-FOLM은 49.1이다. 다양성 항목의 변화가 가장 크며 34.4에서 56.0과 61.0을 거쳐 76.8까지 올랐다. 정합성은 21.4에서 39.8로, 근거성은 22.4에서 30.8로 올랐다. 음악 데이터셋에서도 같은 순서이며 평균이 36.9에서 48.1과 49.2를 거쳐 58.1에 도달했다.

확산 검색기는 팬아웃 언어모델보다 약간 낮은 점수에서 멈춘다. Polyvore에서 R4T-Diffusion의 다양성은 74.3이고 정합성은 37.6으로, R4T-FOLM의 76.8과 39.8에 조금 못 미친다. 근거성은 중간 하위 질의가 없어 측정 대상이 아니므로 표에 빈칸으로 표시됐다. 배포용 모델이 학습용 모델의 품질을 거의 유지하면서 지연을 한 자리 수준으로 줄였다는 점이 이 표가 말하는 내용이다.

약지도 조합 과제에서는 커버리지와 다양성이 맞바꿔지는 양상이 드러난다. Recall@5K는 Gemma3 4B 제로샷 6.0에서 R4T-FOLM 16.9로, Qwen3 4B 10.1에서 R4T-FOLM 20.9로 올랐고 Hit@5K도 25.9에서 54.4로, 33.9에서 64.6으로 올랐다. 그런데 Vendi Score로 잰 다양성은 Qwen 계열에서 46.4에서 27.5로 내려갔다. 확산 쪽은 이 교환을 완화한다. R4T-Diffusion(Qwen)은 Recall 16.5와 Hit 57.5를 내면서 다양성 34.7을 유지했다. 논문은 참조 집합이 유일한 정답이 아니라 가능한 실현 가운데 하나이므로 낮은 재현율이 곧 낮은 품질을 뜻하지는 않는다고 명시했다.

배치 1024에서 50초와 4.21초의 차이가 실제 쟁점이다

효율 측정은 하위 질의 10개를 만드는 데 걸린 벽시계 시간을 배치 크기별로 비교했다. 자기회귀 방식은 작은 배치에서도 상수 오버헤드가 커서 배치 8에 약 1.46초가 걸렸고, 배치 1024에서는 거의 50초까지 선형으로 늘었다. 5,390만 개 파라미터 확산 모델은 같은 조건에서 0.07초와 4.21초를 기록했다. 논문이 정리한 결론은 12배에서 20배의 일관된 속도 향상이며, 배포 메모리 부담도 크게 줄었다.

숫자를 읽을 때 배치 크기가 왜 중요한지 짚어 둘 필요가 있다. 사용자 한 명의 질의만 보면 1.46초와 0.07초의 차이는 체감되는 지연 차이지만 둘 다 서비스 가능한 범위다. 문제는 동시 요청이 쌓일 때다. 배치 1024에서 50초가 걸리는 구조는 트래픽이 붙는 순간 큐가 밀리므로 팬아웃을 쓸 수 있는 시나리오 자체가 좁아진다. 이 논문이 실제로 해결한 것은 팬아웃의 품질이 아니라 팬아웃을 상시로 켜 둘 수 있는지의 문제다.

Best-of-N과의 비교도 같은 이야기다. 논문은 Best-of-N이 제로샷 팬아웃보다 확실히 낫다고 인정하면서도 질의마다 팬아웃을 여러 번 독립 실행해야 하므로 추론 비용이 한 자리 규모로 늘어난다고 적었다. R4T가 Best-of-N을 넘어서면서 배포 시점에는 단일 패스만 쓴다는 결과가 이 방법의 핵심 주장이다.

AEO 관점에서 이 논문을 어디까지 확장해 읽을 수 있는가

이 논문의 실험 범위는 패션 아이템과 음악 재생목록을 대상으로 한 집합값 검색이며, 웹 문서 검색이나 AI 답변 생성 실험이 아니다. 데이터셋도 Polyvore와 비공개 음악 데이터셋이고 웹 코퍼스가 아니다. 따라서 이 결과를 AI 검색의 인용 동작에 대한 증거로 쓸 수는 없다.

그럼에도 구조적으로 시사하는 바는 있다. 쿼리 팬아웃은 넓은 질의를 여러 하위 질의로 펼쳐 각각 검색하는 방식이고, 이는 AI 검색 시스템이 하나의 질문을 여러 갈래로 나눠 근거를 모으는 동작과 같은 계열의 기법이다. 구글 리서치가 이 기법의 비용을 12배에서 20배 줄이는 연구를 ICML 2026에 내놓았다는 사실은 팬아웃을 더 자주, 더 많은 요청에 켜 둘 수 있는 방향으로 기술이 움직인다는 신호로 읽을 수 있다.

그 방향이 맞다면 콘텐츠 쪽의 함의는 하나로 모인다. 팬아웃이 다양성 보상으로 학습되면 목적이 동의어 반복이 아니라 서로 다른 측면의 분할이 된다. 논문의 예시에서 R4T가 드레스와 부츠와 레이스라는 서로 다른 갈래로 질의를 나눈 것처럼, 하나의 주제 안에서 구별되는 하위 측면을 각각 충실히 다룬 문서는 서로 다른 하위 질의에 각각 걸린다. 같은 주장을 표현만 바꿔 반복한 문서는 그 반대다.

다만 이것은 이 논문의 결과가 아니라 이 논문의 메커니즘에서 끌어낸 해석이다. 실제 AI 검색 시스템이 어떤 보상으로 팬아웃을 학습하는지, 다양성을 얼마나 가중하는지는 공개돼 있지 않다. 여기서 확실하게 말할 수 있는 것은 팬아웃의 지연 비용이 내려가고 있다는 사실 하나이며, 나머지는 검증 대상이다.

이 논문이 열어 둔 질문과 스스로 남긴 흔들림

논문이 부록에 적은 한계는 네 가지다. 첫째, 강화학습 단계가 고정된 검색기와의 반복 상호작용과 명시적 보상 계산을 요구하므로 데이터베이스가 매우 크거나 자주 바뀌면 초기 학습 부담이 상당할 수 있다. 둘째, 원하는 검색 속성을 명시적 보상 함수로 표현할 수 있다는 가정이 깔려 있으며 창의성이나 신선함이나 문화적 민감성 같은 선호는 스칼라 보상으로 담기 어렵다. 셋째, 개방형 과제의 평가가 LLM 판정에 의존해 판정 모델의 편향을 물려받을 수 있다. 넷째, 결과가 베이스 언어모델과 임베딩 공간과 확산 아키텍처 선택에 따라 달라질 수 있다.

여기에 문서 자체의 흔들림도 하나 있다. 본문 실험 설정은 개방형 과제 평가에 Gemini 2.5 Pro를 썼다고 적었는데, 평가 지표를 상세히 설명한 부록 B는 멀티모달 입력을 지원하는 Gemini 2.5 Flash를 채택했다고 적는다. 어느 모델이 실제 판정자인지 이 원고로는 확정할 수 없으며, 개방형 과제 점수가 전부 LLM 판정에서 나온 만큼 작은 불일치로 넘기기는 어려운 지점이다.

측정의 성격도 함께 봐야 한다. 개방형 과제 점수는 5점 리커트 척도로 매긴 LLM 판정 결과이므로 정답 대조가 아니고, 약지도 과제의 재현율은 참조 집합이 완전한 정답이 아니라는 전제 위에서 의미 커버리지의 대리 지표로만 해석하도록 논문이 직접 못 박았다. 두 과제 모두 절대 수치를 다른 논문과 나란히 놓기 어려운 형태라는 뜻이다. 음악 데이터셋이 비공개라는 점도 재현 가능성을 제한한다.

정리하면 R4T의 기여는 새로운 검색 품질 기록이 아니라 비용 구조의 재배치다. 강화학습으로 찾은 팬아웃 행동을 5,390만 개 파라미터 확산 사전분포에 압축해 배포 시점의 지연을 12배에서 20배 줄였고, 그 과정에서 다양성 보상이 없으면 정책이 퇴화한다는 사실을 구체적인 실패 출력으로 남겼다. 다음 확인 지점은 웹 문서 코퍼스에서의 재현과 공개 데이터셋 기반 제3자 검증이다.

출처: Bypassing inference bottlenecks: Accelerating complex AI search with Retrieve-for-Train (구글 리서치, 2026년 9월 15일) · Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion (arXiv:2603.06397v1, 2026년 3월 6일, ICML 2026)