AI에게 복잡하고 긴 작업을 맡기면, 한 단계씩은 똑똑하게 풀면서도 전체적으로는 엉뚱한 방향으로 가버리는 경험이 있을 건다. 2026년 1월 발표된 논문 'Why Reasoning Fails to Plan'은 그 이유를 정면으로 분석한다. 핵심 결론은 '추론(reasoning)과 계획(planning)은 다른 능력'이라는 것이다. 단계별 추론은 짧은 호흡엔 강하지만 긴 호흡에선 근시안에 빠지며, 연구진은 이를 보완할 FLARE라는 방법을 제시한다.

논문이 겨눈 지점

'Why Reasoning Fails to Plan'은 2026년 1월 29일 arXiv에 공개된 논문으로, LLM 에이전트의 장기 의사결정을 '계획' 관점에서 분석한다. 부제 그대로 긴 호흡(long-horizon) 의사결정을 다룬다.

핵심 주장은 명확하다. 단계별로 잘 '생각'하는 능력과, 먼 미래까지 내다보고 '계획'하는 능력은 별개라는 것이다. 즉 추론을 잘한다고 계획까지 잘하는 게 아니다.

짧은 구간은 강한데 긴 구간에서 무너진다

LLM 에이전트는 짧은 구간의 단계별 추론에는 강하다. 한 단계 한 단계의 판단은 그럴듯하고 종종 정답이다. 문제는 그 단계들이 길게 이어질 때 발생한다.

논문은 에이전트가 긴 계획 구간에서 일관된 행동을 유지하지 못하고 무너지는 현상을 지적한다. 앞선 행동이 나중의 결과(지연된 보상·비용)를 고려해야 하는데, 단계별 추론은 그 먼 영향을 잘 못 본다는 것이다.

원인은 '단계별 추론 = 근시안적 탐욕'

논문이 짚는 근본 원인은 단계별 추론이 일종의 '탐욕적(greedy) 정책'을 만든다는 점이다. 매 순간 그 자리에서 가장 좋아 보이는 선택을 하는데, 이게 짧은 호흡엔 충분하지만 긴 호흡엔 독이 된다.

문제는 초기의 근시안적 결정이 시간이 지나며 체계적으로 증폭되고, 되돌리기 어려워진다는 것이다. 바둑에서 한 수 한 수는 최선인데 판 전체는 지는 것과 비슷하다.

FLARE: 미리 내다보는 최소 장치

연구진은 FLARE(Future-aware Lookahead with Reward Estimation)를 제안한다. 이름처럼 '미래를 내다보는(lookahead)' 단계를 명시적으로 넣어, 지금의 선택이 나중에 어떤 결과를 낳을지 추정해 반영하는 최소 장치다.

효과는 인상적이다. FLARE를 붙이면 여러 벤치마크에서 성능이 일관되게 올랐고, 작은 모델인 LLaMA-8B에 FLARE를 적용한 쪽이 표준 단계별 추론을 쓰는 GPT-4o를 앞섰다. '계획 장치'가 단순 모델 크기보다 중요할 수 있다는 신호다.

이 결과를 어떻게 읽어야 하나

가장 눈에 띄는 대목은 LLaMA-8B가 GPT-4o를 앞섰다는 부분이다. 이건 단순히 작은 모델이 이겼다는 이야기가 아니다. 두 모델의 파라미터 규모 차이를 감안하면, 추론 능력을 아무리 키워도 '계획 구조'가 없으면 그 능력을 긴 호흡에서 온전히 못 쓴다는 해석이 자연스럽다. 지능의 양보다 지능을 배치하는 방식이 성패를 가른다는 뜻이다.

동시에 이 결과는 '추론 모델'이라는 최근의 마케팅 흐름에 균열을 낸다. 더 오래 생각하는 모델이 곧 더 멀리 내다보는 모델은 아니다. 오래 생각하는 것과 멀리 내다보는 것은 방향이 다른 능력이며, 전자를 강화한다고 후자가 따라오지 않는다는 게 이 논문의 불편한 메시지다.

한국 실무자가 새겨둘 점

실무 교훈은 분명하다. AI에게 긴 작업을 통째로 맡기면 '근시안'에 빠지기 쉬우니, 사람이 계획의 뼈대를 잡아 주는 게 좋다. 큰 목표를 단계로 쪼개고, 중간 점검(체크포인트)을 두고, "이 선택이 나중에 어떤 영향을 주는지 먼저 생각해" 같은 지시로 lookahead를 유도하는 것이다.

특히 사내 자동화나 에이전트를 도입하려는 팀이라면, 벤더가 내세우는 벤치마크 점수보다 "긴 작업을 얼마나 일관되게 끌고 가는가"를 따로 검증할 필요가 있다. 짧은 데모에서의 똑똑함은 긴 업무 흐름에서의 신뢰성을 보장하지 않는다. 도입 전 파일럿에서 여러 단계가 얽힌 실제 업무를 끝까지 돌려보는 것이 안전하다.

남는 물음과 한계

물론 조심할 대목도 있다. FLARE의 이점은 논문이 다룬 벤치마크 환경에서 확인된 것이고, 우리 회사의 실제 워크플로에 그대로 옮겨진다는 보장은 없다. lookahead를 넣는 만큼 매 단계 연산과 비용이 늘어나는 트레이드오프도 따져야 한다.

그럼에도 방향성만큼은 분명하다. 긴 자동화를 설계할 때는 모델의 똑똑함에만 기대지 말고, 미리 내다보고 되돌아보는 구조를 함께 넣어야 한다는 것. '추론 잘하는 모델 = 계획 잘하는 에이전트'가 아니라는 인식이 그 출발점이다.

---

참고: arXiv 2601.22311 · alphaXiv 정리