EvoHarness-RL: 80억 파라미터 모델이 ALFWorld에서 96.9%를 낸 하니스 학습법

EvoHarness-RL은 80억 파라미터 모델 Qwen3-8B가 ALFWorld에서 96.9% 성공률을 내게 만든 하니스(harness) 학습 프레임워크다. 일리노이대 어배너섐페인(UIUC)과 메타 AI 연구진이 2026년 8월 5일 arXiv 2608.05446으로 공개했다. 같은 표에서 Claude Opus 4.5에 ReAct를 붙인 구성이 96.4%, 같은 백본의 ReAct 기준선이 47.9%를 기록했다. 핵심 주장은 성능이 더 큰 모델이나 더 큰 메모리에서 온 것이 아니라, 외부 작업공간을 언제 읽고 쓸지를 정책으로 학습시킨 데서 왔다는 것이다.

하니스를 프롬프트 관습에서 학습 대상으로 옮긴다

EvoHarness-RL의 출발점은 에이전트의 외부 상태를 Belief, Progress, Experience 세 축으로 묶은 BPE 작업공간이다. Belief는 지금 환경이 어떤 상태인지, Progress는 어떤 하위 목표를 끝냈고 무엇이 남았는지, Experience는 지난 에피소드에서 얻은 지식을 담는다. 에이전트는 이 작업공간을 track, commit, recall, note 네 개의 메타 행동으로만 다룬다.

여기서 달라진 것은 구성 요소가 아니라 소유권이다. 기존 에이전트는 상태를 어떻게 만들고 언제 꺼내 쓸지를 프롬프트, 휴리스틱, 도메인별 관습으로 사람이 손수 정해 두었다. 논문은 이 부분을 "수작업으로 설계된 외부 작업공간과 사용 정책"이라고 부르며 문제로 지목한다. EvoHarness-RL은 그 사용 정책 자체를 오프라인에서 학습시킨 뒤 런타임에 배치한다. 하니스가 개발자의 설계물에서 모델의 학습 대상으로 넘어간 셈이다.

학습은 두 단계다. 먼저 지도 하니스 미세조정(SFT)으로 네 개의 메타 행동을 쓰는 법과 쓸 만한 외부 상태를 만드는 법을 가르친다. 그다음 비용 인식 GRPO가 언제 읽고, 언제 갱신하고, 언제 통합할지를 탐색한다. 보상에 비용 항을 넣었다는 점이 두 번째 단계의 설계 축이다.

96.9% 옆에 반드시 함께 읽어야 할 조건들

논문이 보고한 96.9%는 Qwen3-8B 정책 모델을 NVIDIA H200 8장에서 150에폭 동안 GRPO로 학습한 결과다. 학습 설정에는 그룹 크기 8, 학습률 1e-6, KL 계수 0.01, 최대 프롬프트 길이 1만 2,288토큰, 추론 엔진 vLLM(TP=4)이 적힌다. 에피소드 최대 길이는 70스텝이고, Progress가 담는 하위 목표는 8개, Experience 저장소는 범주당 80개로 제한된다.

가장 중요한 조건은 표 바깥에 있다. SFT 데이터를 모을 때 교사 모델로 Claude Opus를 썼고, Experience 저장소를 통합하는 모델로도 Claude Opus를 쓴다. ALFWorld 학습 게임 500판을 교사 모델로 돌려 성공한 에피소드만 남긴 결과가 궤적 87개, 다음 행동 대화쌍 1,153개이며, 에피소드당 평균 26.5턴이다. 교사가 쓴 하니스 호출은 총 405회로 전체 턴의 약 18%였고 commit 202회, recall 114회, note 55회, track 34회로 나뉜다.

정리하면 "8B가 Opus 4.5를 넘었다"는 문장은 학습 파이프라인 안에서 Opus가 교사로 참여한 결과를 요약한 것이다. 프런티어 모델을 대체했다기보다, 프런티어 모델의 하니스 사용 습관을 8B에 이식한 뒤 강화학습으로 다듬었다고 읽는 편이 실험 설계에 가깝다. 성능이 어디로 이동했는지가 아니라 비용이 어디로 이동했는지를 보는 관점이 여기서는 더 유용하다. 추론 시점의 Opus 호출이 학습 시점의 Opus 호출로 옮겨 갔다.

훈련이 길어질수록 하니스 호출이 줄어드는 현상

하니스 어닐링(annealing)은 GRPO 학습이 진행될수록 에피소드당 하니스 호출이 1회 근처로 수렴하는 현상이다. SFT로 초기화된 에이전트는 처음에 하니스를 자주 부른다. 상태를 추적하고 절차를 떠올리며 탐색 범위를 좁히는 발판으로 쓰는 것이다. 강화학습이 진행되면 호출 횟수가 빠르게 떨어지고 에피소드당 1회 근방에서 안정화된다.

이 곡선이 흥미로운 이유는 방향이 직관과 반대이기 때문이다. 도구를 잘 쓰도록 학습시켰는데 도구를 덜 쓰게 됐다. 논문은 반복되는 발판 사용 패턴이 정책 안으로 내재화되고, 기대 이득이 스텝 비용을 넘어설 때만 외부 접근이 남는다고 설명한다. 비용 항을 보상에 넣은 설계가 이 지점에서 회수된다.

실무적으로 이 관찰은 도구 호출 횟수를 에이전트 품질의 대리 지표로 쓰는 습관에 반례가 된다. 호출이 잦은 에이전트는 아직 발판이 필요한 단계일 수 있고, 호출이 드문 에이전트는 절차를 이미 내부화한 단계일 수 있다. 같은 숫자가 정반대의 상태를 가리킨다. 로그에서 도구 사용량만 보고 판단하면 두 상태를 구별하지 못한다.

미공개 분할 86.6%가 더 무겁게 읽히는 이유

ALFWorld 미공개(unseen) 분할에서 EvoHarness-RL은 86.6%를 기록했고 같은 백본의 ReAct는 50.0%에 그쳤다. 흥미로운 값은 중간 구성들에 있다. 학습 없이 프롬프트로만 BPE를 붙인 EvoHarness-Base가 77.6%를 냈는데, 지도학습만 거친 EvoHarness-SFT는 69.4%로 오히려 떨어졌다.

논문은 이 역전을 지도 모방이 교사의 하니스 사용 패턴만 배우고 "언제 접근할 가치가 있는지"는 배우지 못했기 때문으로 설명한다. 학습된 환경에서 본 습관을 새 환경에 그대로 옮기면서 손해가 났다는 것이다. 비용 인식 GRPO가 붙은 뒤에야 86.6%로 올라간다.

미공개 분할 숫자가 헤드라인 96.9%보다 실무에 가깝다. 96.9%는 학습 환경과 같은 분포에서 나온 값이고, 86.6%는 처음 보는 배치에서 나온 값이다. 도입을 검토하는 쪽이 봐야 할 수치는 후자다. 동시에 이 표에는 Opus 4.5의 미공개 분할 성적이 없다. 헤드라인 비교가 성립하는 구간은 학습 분포와 겹치는 쪽뿐이라는 뜻이다.

ExpeL, ReasoningBank, SkillOS와 갈라지는 지점

같은 Qwen3-8B 백본에서 ExpeL은 49.3%, ReasoningBank는 55.7%, MemP는 49.7%, Dynamic Cheatsheet는 52.1%, ACE는 51.4%를 기록했다. 학습을 거치는 계열로 넘어가면 GRPO 단독이 65.6%, SkillOS가 80.2%, Qwen2.5-7B 기반 SkillRL이 89.9%다.

이 배치에서 EvoHarness-RL의 자리는 분명하다. 논문은 기존 자기진화 에이전트가 에피소드를 가로지르는 스킬 관리와 에피소드 안의 실시간 상태 추적을 서로 다른 모듈로 분리해 두었다고 지적한다. BPE는 그 둘을 하나의 인터페이스로 합친다. 장기 경험을 어떻게 쓸지뿐 아니라, 그 경험을 현재 환경 인식 및 진행 상황과 어떻게 동기화할지까지 같은 정책이 다룬다.

절제 실험이 이 통합의 값을 매긴다. 프롬프트 단계 BPE에서 Belief를 빼면 56.4%에서 50.0%로, Progress를 빼면 50.7%로, Experience를 빼면 48.6%로 내려간다. 세 축 중 어느 하나도 대체재가 아니라는 뜻이다. 메모리만 키우는 접근이 여기서 갈린다.

한국 팀이 이 논문에서 바로 가져갈 수 있는 것

국내 팀이 EvoHarness-RL에서 즉시 옮겨 쓸 수 있는 부분은 8장의 H200이 아니라 BPE라는 인터페이스 구획과 비용을 반영한 보상 설계다. 사내 에이전트의 외부 상태를 Belief, Progress, Experience로 나눠 보는 것만으로도 프롬프트 단계에서 효과가 나온다는 것이 EvoHarness-Base의 77.6%가 보여 주는 값이다. 이 구성은 학습이 필요 없다.

보상 설계 쪽은 조금 더 옮기기 쉽다. 도구 호출에 비용을 매기고 성공 보상과 함께 최적화하는 구조는 강화학습을 쓰지 않는 파이프라인에서도 평가 지표로 흉내 낼 수 있다. 성공률만 재던 내부 평가에 호출당 비용을 곱해 넣으면, 같은 성공률을 더 적은 호출로 내는 프롬프트가 선택된다.

거꾸로 학습 단계까지 재현하려는 계획은 신중하게 잡을 필요가 있다. 교사 모델 API 호출, 8장 규모 GPU, 150에폭이라는 예산이 붙고, 그 결과가 ALFWorld 밖에서 유지된다는 근거는 이 논문에 없다.

남은 질문: ALFWorld 하나로 충분한가

EvoHarness-RL의 실험은 ALFWorld 단일 환경, 6개 과제군에 한정돼 있다. Pick, Look, Clean, Heat, Cool, Pick2로 나뉘는 이 과제들은 가상 가정 환경의 물체 조작이며, 코드 저장소나 웹 브라우저, 사내 도구 체인처럼 상태 공간이 훨씬 지저분한 환경에서 같은 BPE 구획이 통할지는 아직 답이 없다. 논문 스스로 belief 추적기를 규칙 기반 행동-관찰 파서로 구현했다고 밝히는데, 이 부품은 환경마다 다시 만들어야 한다.

96.9%와 96.4%의 간격도 그대로 읽는 편이 정확하다. 0.5%포인트 차이이며 표준편차나 신뢰구간은 표에 없다. 두 값이 잡음을 넘어선다고 단정할 근거가 논문 안에 없다는 뜻이다. 여기서 확실한 것은 순위가 아니라, 8B급 오픈 모델이 프런티어 모델과 구별되지 않는 구간에 들어왔다는 사실이다. 그리고 그 구간에 들어가는 데 쓰인 도구는 더 큰 모델이 아니라 학습된 하니스 정책이었다.

출처: arXiv 2608.05446 'EvoHarness-RL: Learning Self-Evolving Runtime Harness for Long-Horizon LLM Agents'(Xuying Ning 외, 일리노이대 어배너섐페인·메타 AI, 2026년 8월 5일 공개; BPE 작업공간과 track·commit·recall·note 메타 행동, 지도 하니스 미세조정과 비용 인식 GRPO 2단계 학습, ALFWorld 성공률 EvoHarness-RL 96.9%·Claude Opus 4.5+ReAct 96.4%·Opus 4.5+EvoHarness-Base 98.5%·GPT-5+ReAct 60.7%에서 EvoHarness-Base 85.0%·GPT-4.1 47.9%에서 70.0%·Qwen3-8B ReAct 47.9%·SkillRL 89.9%·SkillOS 80.2%·ExpeL 49.3%·ReasoningBank 55.7%·MemP 49.7%·Dynamic Cheatsheet 52.1%·ACE 51.4%, 미공개 분할 EvoHarness-RL 86.6%·EvoHarness-Base 77.6%·EvoHarness-SFT 69.4%·ReAct 50.0%, 절제 실험 Belief 제거 50.0%·Progress 제거 50.7%·Experience 제거 48.6%, 정책 모델 Qwen3-8B와 교사·통합 모델 Claude Opus, SFT 데이터 500게임에서 궤적 87개·대화쌍 1,153개·평균 26.5턴·교사 하니스 호출 405회, GRPO 150에폭·H200 8장·vLLM TP=4) 기반 ASAP 정리.