MILES는 얼려둔(frozen) LLM 바깥에 단계 단위 명령 메모리를 붙여, 문제를 순차적으로 풀수록 추론이 스스로 좋아지게 만드는 프레임워크다. 호주 뉴사우스웨일스대의 Ruilin Tong과 Dong Gong이 2026년 7월 8일 arXiv(2607.06974)에 공개했으며, 이름은 Modular Instruction Memory with LEarnable Selection의 약자다. 핵심 주장은 GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct, Qwen3-4B-Instruct 네 개 백본과 MATH-500, AIME 2024·2025, GPQA-Diamond, MMLU-Pro 물리·공학 여섯 벤치마크 전반에서 기존 메모리 기법과 같거나 더 나은 정확도를 내면서 정확도 대비 토큰 효율이 앞선다는 것이다. ASAP은 이 논문을 원문 기준으로 정리한다.

문제를 하나씩 푸는 관성을 깬다

대부분의 테스트타임 추론 기법은 문제를 서로 독립적으로 다룬다. Chain-of-Thought, Self-Consistency, Tree-of-Thoughts처럼 한 문제에 더 많은 연산을 쏟아 정답률을 끌어올리지만, 방금 푼 문제에서 얻은 요령은 다음 문제로 넘어가면 사라진다. MILES가 겨냥하는 지점이 바로 이 낭비다. 문제들이 줄지어 들어오는 현실적 상황에서, 앞선 풀이의 재사용 가능한 경험을 쌓아두면 뒤에 오는 문제의 정확도를 더 밀어올릴 수 있다는 것이 출발점이다.

기존 메모리 기반 방법에는 두 갈래의 한계가 있었다. 한쪽은 완결된 풀이 전체를 템플릿으로 저장하는데, 조금만 새로운 문제가 오면 일반화가 잘 되지 않는다. 다른 한쪽은 단계 단위로 조각을 고르되 유사도 검색이나 프롬프트 휴리스틱에 기대어, 최종 정답이 맞는지를 기준으로 그 선택을 최적화하지 않는다. MILES는 이 둘 사이를 파고들어, 단계 조각을 저장하되 그 조각을 고르는 결정을 최종 정답 정확도에 맞춰 학습한다.

메모리 구조: 비대칭 단위와 학습되는 선택기

MILES의 메모리 단위는 하위 목표(sub-goal) 임베딩과 하위 명령(sub-instruction)의 비대칭 쌍으로 이뤄진다. 임베딩은 "지금 어떤 국면인가"를 가리키는 열쇠 역할을 하고, 명령은 "그렇다면 무엇을 하라"는 실제 지시를 담는다. 각 단위에는 학습 가능한 선택 헤드(selection head)가 하나씩 붙어, 이 조각을 지금 꺼내 쓸지 말지를 판단한다. 임베딩 계산에는 text-embedding-3-small을 쓰고, 평가 지표는 오로지 최종 정답 정확도다.

작동은 거친 단계와 세밀한 단계로 나뉜다. 거친(coarse) 단계에서는 메모리를 넓혀가며, 모델이 확신하는 표본에서 선택 헤드를 학습시킬 감독 신호를 모은다. 세밀한(fine) 단계에서는 그렇게 학습된 헤드가 거친 후보들을 다시 순위 매겨, 불확실한 표본의 추론을 유도한다. 즉 쉬운 문제는 스스로 정답 라벨의 대용물이 되어 선택기를 가르치고, 어려운 문제는 그 선택기의 도움을 받는 구조다. 대규모 학습 데이터나 고정된 행동 공간을 전제하는 정책 학습과 달리, 메모리가 조금씩 늘어나고 감독이 제한된 테스트타임 환경에 맞춘 설계라는 점이 이 대목의 요지다.

숫자를 읽는 법: 최고점 경신이 아니라 프론티어 지배

이 논문의 성적표를 최고 정확도 경신으로 읽으면 요점을 놓친다. 예컨대 GPT-OSS-20B가 AIME 2024에서 이미 93.33%로 포화에 가까운 구간에서는, MILES가 Self-Consistency를 성능 저하 없이 그대로 따라간다. 여기서 인상적인 대목은 새 최고점이 아니라 "무너지지 않음"이다. 반대로 여백이 남은 구간, 특히 GPT-OSS-20B와 Qwen3-30B-Instruct 같은 작은 오픈웨이트 백본에서는 개선이 두드러졌다. 흥미롭게도 같은 조건에서 표본 단위 메모리 기법인 Buffer-of-Thoughts와 Dynamic CheatSheet는 프롬프트가 지나치게 복잡해 제로샷 CoT조차 넘어서지 못했다.

정말 봐야 할 축은 정확도와 토큰 비용을 함께 그린 곡선이다. AIME 2024·2025에서 응답 토큰 비용 대비 정확도를 그려보면, Self-Consistency, Tree-of-Thoughts, rStar 같은 메모리 없는 확장 기법은 예산을 늘려도 금세 평평해진다. 반면 MILES는 예산이 커질수록 메모리 단위를 추가로 지어내며 정확도와 토큰의 프론티어를 계속 밀어낸다. 한 문제에 연산을 더 붓는 방식만으로는 잡히지 않는, 문제를 가로지르는 지식을 재사용한다는 것이 이 곡선이 말하는 바다. 성능의 원천이 "더 생각하기"에서 "쌓아둔 경험 꺼내기"로 옮겨간 셈이다.

가장 낯선 결과: 약한 모델의 메모리가 강한 모델을 돕는다

이 논문에서 가장 되짚어볼 만한 실험은 교차 모델 전이다. GPT-4.1-mini를 추론 백본으로 두고, 메모리는 다른 보조 모델의 롤아웃으로 지은 경우를 비교했더니, 보조 모델이 자신보다 작은 Qwen3-4B-Instruct든 Qwen3-30B-Instruct든 보조 모델을 아예 쓰지 않은 기준선보다 성능이 올라갔다. 상식적으로는 더 똑똑한 모델이 만든 메모리라야 도움이 될 것 같지만, 결과는 그 직관을 흔든다.

이 결과가 시사하는 바는 메모리에 담긴 것이 특정 모델의 능력이 아니라 문제 구조에 대한 재사용 가능한 절차라는 점이다. 약한 모델이라도 단계별 하위 목표와 하위 명령을 뽑아내면, 그 절차 자체는 더 강한 모델에게도 유효한 발판이 된다. 비용 관점에서 이 함의는 작지 않다. 값싼 모델로 메모리를 대량 축적해두고, 비싼 모델은 그 메모리를 소비만 하게 하는 분업이 성립할 수 있기 때문이다. 다만 이는 논문이 제시한 정확도 개선을 근거로 한 해석이며, 어떤 종류의 절차가 전이되고 어떤 것은 전이되지 않는지는 원문이 수치로 못박아 두지는 않았다.

RAG·롱컨텍스트와 무엇이 다른가

한국 실무자 관점에서 MILES는 흔히 뭉뚱그려지는 "AI 메모리"의 결을 갈라준다. RAG는 외부 문서에서 사실을 검색해 붙이는 방식이고, 롱컨텍스트는 기록을 통째로 창에 밀어넣는 방식이다. 두 접근의 공통점은 무엇을 넣을지가 유사도나 규칙으로 정해진다는 것이다. MILES가 다른 지점은 "무엇을 꺼낼지"를 최종 정답이 맞았는지로 학습한다는 데 있다. 검색을 고정된 규칙에서 훈련된 결정으로 바꾼 셈이다.

이 차이는 에이전트를 설계하는 국내 팀에게 실용적 갈림길을 제시한다. 세부 사실 회상이 승부처라면 여전히 RAG나 롱컨텍스트가 합리적이지만, 같은 유형의 추론 문제를 반복해서 처리하는 워크로드라면 풀이 절차를 재사용하는 쪽의 이득이 커진다. 앞서 ASAP이 정리한 [롱컨텍스트 대 사실 기반 메모리](/blog/agent-memory-vs-longcontext) 논의가 "무엇을 저장할까"를 다뤘다면, MILES는 "저장한 것을 언제 꺼낼까"를 학습으로 푸는 한 걸음 더 들어간 물음에 해당한다.

한계와 남는 질문 (ASAP의 관점)

MILES의 실험은 수학과 학술 문제 여섯 벤치마크, 그리고 얼려둔 LLM이라는 전제 위에서 얻은 값이다. 정답이 명확히 채점되는 영역이라 확신 표본을 라벨 대용으로 쓰는 전략이 잘 통했지만, 정답 경계가 흐릿한 개방형 과제나 긴 호흡의 에이전트 작업에서도 같은 자기 지도(self-supervision)가 통한다는 근거는 아직 없다. 확신하는 표본에서 감독을 모으는 방식은, 모델이 확신했지만 실제로는 틀린 경우의 오류가 메모리에 실려 번질 위험을 그대로 안고 있다. 또한 v1 프리프린트로 아직 동료 평가를 거치지 않았다는 점은 감안해 읽어야 한다. 그럼에도 "메모리 조각을 저장하는 데서 멈추지 않고 그 조각을 고르는 결정을 정답 기준으로 학습한다"는 발상은 테스트타임 자기 개선 논의에서 오래 참조될 틀이다.

출처: MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning (arXiv:2607.06974v1, 2026년 7월 8일; Ruilin Tong, Dong Gong) 기반 ASAP 정리.