구글 WikiSkill: 에이전트에게 위키를 주자 Gemini 3.5 Flash 평균이 49.5%에서 68.1%로 올랐다

WikiSkill은 구글 리서치가 2026년 8월 27일 arXiv 2608.27454로 공개한 에이전트 스킬 진화 프레임워크이며, 실행 경험을 계속 쌓이는 위키에 압축해 두고 그 위키를 근거로 스킬을 고쳐 나간다. 다섯 개 벤치마크 평균에서 Gemini-3.5-Flash가 스킬 없이 49.5%였던 성적을 68.1%로 올렸고, Qwen-3.6-27B는 39.4%에서 63.3%로 올랐다. 기존 스킬 진화 기법인 Trace2Skill, EvoSkill, SkillOpt를 모든 모델 구간에서 앞섰다. 핵심은 스킬 파일이 아니라 그 옆에 남는 지식 저장소다.

스킬 파일 하나로는 담기지 않는 것

에이전트 스킬은 특정 업무의 절차와 지식을 재사용 가능한 문서로 묶어 두는 방식이며, 2026년 들어 주요 에이전트 플랫폼의 기본 확장 수단으로 자리 잡았다. 최근 연구는 이 스킬을 사람이 쓰지 않고 에이전트의 실행 기록에서 자동으로 뽑아내는 쪽으로 옮겨 갔다.

논문이 지적하는 문제는 그 자동화의 구조에 있다. 스킬을 고칠 때 얻은 판단, 예를 들어 어떤 접근이 왜 실패했고 어떤 조건에서만 통했는지에 대한 이해는 최적화 이력 여기저기에 흩어진 채 남는다. 다음 반복에서 그 판단을 다시 꺼내 쓸 방법이 없으니, 매 회차가 비슷한 시행착오를 되풀이한다.

WikiSkill이 택한 해법은 작업공간을 세 층으로 쪼개는 것이다. 원본 층에는 각 반복의 실행 기록이 손대지 않은 채 쌓인다. 위키 층에는 패턴 디렉터리, 진화 로그, 그리고 모든 제안과 그 결과를 기록한 스킬 영향 추적기가 들어간다. 스킬 층에는 실제로 에이전트 프롬프트에 주입되는 실행 절차만 남는다. 스킬은 짧게 유지되고, 그 스킬을 왜 그렇게 썼는지는 위키가 대신 기억한다.

반복 한 회차 안에서 벌어지는 일

WikiSkill의 한 회차는 네 가지 역할이 순서대로 움직이며 진행된다. 추론 에이전트가 현재 스킬만 들고 학습 과제를 실행해 궤적을 남긴다. 이때 추론 에이전트는 위키에 접근하지 못한다. 위키 관리자가 성공과 실패 궤적을 표본으로 받아 패턴과 로그를 갱신한다. 스킬 제안자는 위키를 읽은 상태로 ReAct 방식으로 움직이며, 한 번에 스킬 하나만 건드리는 원자적 제안을 만든다. 마지막으로 게이팅이 검증셋에서 성능이 올랐을 때만 제안을 받아들인다.

기각이 일어났을 때의 처리가 이 설계의 요점이다. 스킬은 되돌려지지만 위키는 남는다. 즉 "이 방향은 검증셋에서 떨어졌다"는 사실 자체가 다음 회차의 입력이 된다. 논문의 실험은 대체로 7~8회 반복으로 돌아간다.

추론 에이전트에게 위키를 주지 않은 선택도 의도적이다. 실행 시점에 참조하는 문서를 늘리면 성능 향상이 스킬 진화 덕인지 단순히 맥락을 더 준 덕인지 구분되지 않는다. 위키를 오프라인 최적화 쪽에만 두면서 저자들은 그 혼동을 걷어냈다.

평균 뒤에 가려진 벤치마크별 격차

전체 평균만 보면 상승 폭이 크지만, 다섯 벤치마크의 개별 값은 성격이 서로 다르다. Gemini-3.5-Flash 기준으로 LiveMath는 33.0%에서 72.6%로 두 배 넘게 뛰었고 SpreadSheet는 50.5%에서 76.6%로 올랐다. 반면 SealQA는 29.4%에서 44.7%로 오르는 데 그쳤고, ALFWorld는 85.9%에서 85.9%로 전혀 움직이지 않았다.

이 분포를 읽는 방법이 있다. 크게 오른 쪽은 절차가 반복되는 과제다. 수식 처리나 스프레드시트 조작은 성공하는 방법이 정형화되어 있어, 한 번 정리한 절차가 다음 문제에도 그대로 들어맞는다. 반대로 SealQA처럼 매번 다른 사실을 찾아 검증해야 하는 과제에서는 절차 문서가 해 줄 수 있는 일이 제한된다. 지식 부족은 절차로 메워지지 않는다.

ALFWorld의 정체는 다른 이유다. 스킬 없는 Gemini-3.5-Flash가 이미 85.9%였다. 남은 14.1%포인트가 절차 문서로 닿을 수 있는 종류의 오류가 아니었다는 뜻이며, 같은 벤치마크에서 Qwen-3.5-4B는 24.4%에서 53.7%로, Qwen-3.6-27B는 52.8%에서 77.6%로 크게 올랐다. 상승 폭은 과제 난이도가 아니라 남은 여유 공간에 비례한다. 그래서 프레임워크를 도입할 때 물어야 할 질문은 "얼마나 오르나"가 아니라 "지금 실패하는 이유가 절차의 문제인가"다.

15.0%포인트를 만든 것은 위키였다

애블레이션 결과가 이 논문에서 가장 단단한 부분이다. Gemini-3.5-Flash 기준으로 어느 구성 요소도 위키를 보지 못하게 하면 평균이 48.7%로 떨어진다. 기본 설정인 스킬 제안자에게만 위키를 열어 주면 63.7%가 된다. 차이는 15.0%포인트이며, 나머지 파이프라인이 동일하다는 점에서 이 격차는 지속 지식 축적 자체의 몫이다.

흥미로운 값은 세 번째 구성이다. 두 구성 요소 모두에게 위키를 열어 주면 60.9%로 오히려 내려간다. 논문은 이를 기본 설정을 고른 근거로 제시하지만, 여기서 읽을 수 있는 함의는 더 넓다. 지식 저장소를 더 많은 지점에 노출한다고 성능이 단조 증가하지 않는다는 것이다. 축적된 맥락은 어디에 붙이느냐에 따라 판단 근거가 되기도 하고 잡음이 되기도 한다.

이 대목은 사내 에이전트에 문서를 붙일 때 흔히 저지르는 실수와 겹친다. 지금까지의 실행 로그와 결정 기록을 전부 실행 시점 프롬프트에 밀어 넣는 방식은 직관적이지만, WikiSkill의 배치는 그 반대다. 축적물은 오프라인에서 절차를 다듬는 데 쓰고, 실행 시점에는 다듬어진 짧은 절차만 들려 보낸다.

남이 진화시킨 스킬이 더 나은 경우

전이 실험은 실무 관점에서 값이 가장 큰 결과다. Qwen-3.5-9B는 SpreadSheet에서 스킬 없이 24.3%, 자기가 진화시킨 스킬로 33.6%였는데, Qwen-3.6-27B가 진화시킨 스킬을 그대로 받으면 50.5%가 됐다. Gemma-4-31B는 LiveMath에서 자체 진화 스킬로 56.7%였지만, 훨씬 작은 Qwen-3.5-4B가 만든 스킬을 받아 73.1%를 기록했다.

두 번째 사례가 방향을 뒤집는다. 큰 모델이 만든 스킬이 항상 나은 것이 아니라, 작은 모델이 더 많이 실패하며 정리한 절차가 큰 모델에게 더 유용할 수 있다는 뜻이다. 실패 경험이 많은 쪽이 절차를 더 명시적으로 적게 되고, 명시적인 절차는 모델 계열을 넘어 옮겨 간다.

여기에 스케일링과의 관계에 대한 논문의 관찰이 붙는다. 큰 모델이 진화된 스킬에서 대체로 더 많은 이득을 보지만, 스킬을 가진 작은 모델이 스킬 없는 훨씬 큰 모델을 앞서기도 한다. Qwen-3.5-9B가 WikiSkill로 47.4%를 기록해 스킬 없는 Qwen-3.6-27B의 39.4%를 넘긴 것이 그 사례다. 다만 이것을 "9B가 27B를 이겼다"로 요약하면 오독이다. 두 값의 비교 대상이 다르다. 스킬 진화에는 반복마다 롤아웃과 두 개의 LLM 에이전트 호출이 들어가며, 논문은 그 토큰 비용을 명시적으로 계산해 두지 않았다.

논문이 스스로 그어 둔 선

저자들이 밝힌 한계는 네 가지이며, 도입을 검토한다면 이 목록이 벤치마크 표보다 먼저 볼 자료다. 첫째, 실험에서는 진화된 스킬을 전부 주입했기 때문에 실제 환경에서 필요한 스킬을 골라 오는 검색 단계는 평가되지 않았다. 둘째, 검증 성능이 오를 때만 채택하는 엄격한 게이팅은 당장은 중립이지만 나중에 개선으로 이어질 제안을 걸러 낼 수 있다. 셋째, 위키는 계속 쌓이기만 하고 자동 정리 장치가 없다. 넷째, 사용된 벤치마크는 비교적 짧은 호흡의 과제이며 수백 번의 환경 조작이 이어지는 장기 과제는 다루지 않았다.

셋째와 넷째는 함께 놓고 봐야 한다. 정리 장치 없이 무한히 쌓이는 저장소는 회차가 늘수록 스킬 제안자가 읽어야 할 분량을 키운다. 7~8회 반복 규모에서는 문제가 되지 않지만, 실제 운영에서 수개월간 도는 에이전트에게 같은 구조를 적용하면 위키 자체가 병목이 될 수 있다. 두 구성 요소 모두에게 위키를 열었을 때 성능이 내려간 60.9%가 그 방향의 첫 신호로 읽힌다.

지금 확실한 것은 두 가지다. 실행 기록을 지속 지식으로 압축하는 층을 따로 두면 같은 파이프라인에서 15.0%포인트가 더 나온다는 것, 그리고 그렇게 만들어진 절차는 모델과 계열을 넘어 옮겨 간다는 것이다. 정리 정책과 장기 과제에서의 거동은 아직 답이 나오지 않았다.

출처: arXiv 2608.27454 'WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution'(Liyan Tang·Cyrus Rashtchian·Chun-Sung Ferng·Andrew Tomkins·Da-Cheng Juan·Tu Vu, 구글 리서치, 2026년 8월 27일 제출; 원본·위키·스킬 3계층 작업공간과 추론 에이전트·위키 관리자·스킬 제안자·게이팅 롤백 구성, 통상 7~8회 반복, 벤치마크 LiveMathematicianBench·SealQA·SpreadsheetBench·OfficeQA·ALFWorld, 평균 성적 Qwen-3.5-4B 26.2%→38.5%·Qwen-3.5-9B 29.9%→47.4%·Qwen-3.6-27B 39.4%→63.3%·Gemma-4-31B 41.3%→54.9%·Gemini-3.5-Flash 49.5%→68.1%, 기존 기법 Trace2Skill·EvoSkill·SkillOpt 대비 우위, 위키 애블레이션 48.7%·63.7%·60.9%, 전이 실험 및 저자 명시 한계 4항) 기반 ASAP 정리.