AI가 사람의 손을 거치지 않고 '스스로 더 똑똑해질 수 있는가'는 2026년 AI 연구의 가장 뜨거운 질문이다. 이를 재귀적 자기개선(RSI, Recursive Self-Improvement)이라 부르며, 샘 올트먼이 GPT-5.6과 관련해 언급하면서 다시 주목받고 있다. 4월 ICLR 2026에서는 RSI만 다루는 첫 워크숍이 열렸고, 실제로 AI가 자기 알고리즘·코드를 개선한 사례도 나왔다. 이 글에서는 RSI가 무엇인지, 지금 나온 숫자를 어떻게 읽어야 하는지, 그리고 왜 ASAP은 '검증'이 진짜 병목이라고 보는지를 정리한다.

'재귀'라는 단어가 진짜로 뜻하는 것

재귀적 자기개선은 AI가 자신의 성능을 스스로 향상시키고, 그 향상된 능력으로 다시 자신을 개선하는 반복 과정을 말한다. 사람이 매번 개입해 튜닝하는 대신, 모델이 자기 코드·프롬프트·학습 데이터를 직접 고치며 나아지는 그림이다.

여기서 오해하기 쉬운 지점이 하나 있다. 자동화된 하이퍼파라미터 탐색이나 반복 미세조정은 예전부터 있었다. RSI가 다른 이유는 '한 번 좋아진 AI가 다음 개선을 더 잘하게 된다'는 가속 가설에 있다. 개선의 결과물이 다음 개선의 도구가 되어 복리처럼 쌓인다는 것이다. 이 가설이 참이라면 발전 곡선의 기울기 자체가 바뀌고, 그래서 안전·정책 연구자들도 RSI를 진지하게 본다.

왜 사고실험에서 연구 의제로 넘어왔나

계기는 두 가지다. 하나는 샘 올트먼이 GPT-5.6과 관련해 재귀적 자기개선 역량을 언급한 것이고, 다른 하나는 2026년 4월 ICLR에서 RSI만 다루는 첫 전용 워크숍이 열린 것이다. 기업 CEO의 발언과 학계의 전용 세션이 같은 시기에 등장했다는 점이 신호다. 마케팅 수사로만 떠돌던 개념이 검증 가능한 연구 대상으로 자리를 옮겼다는 뜻이다.

실제로 LLM 에이전트가 자기 코드나 프롬프트를 다시 쓰고, 과학 발견 파이프라인이 지속적 미세조정을 스스로 거는 사례가 등장했다. 논쟁의 초점도 '가능한가'에서 '어디까지, 얼마나 안정적으로 되는가'로 이동했다.

사례를 이렇게 읽어야 한다: 인상적인 것과 신중할 것

가장 인상적인 사례는 딥마인드의 AlphaEvolve다. Gemini가 진화적 탐색을 안내해, 1969년 슈트라센 이후 정체됐던 행렬 곱셈 알고리즘을 더 빠른 버전으로 찾아냈다. 반세기 넘게 막혀 있던 수학 문제라는 점에서, 결과를 기계가 명확히 검증할 수 있는 영역에서 RSI가 힘을 낸다는 사실을 보여준다.

숫자는 좀 더 냉정하게 봐야 한다. Agent0는 두 에이전트가 서로 문제를 내고 푸는 적대적 공진화로 수학 추론 18%, 일반 추론 24% 향상을 보고했다. 인상적이지만, 향상의 기준선과 벤치마크가 무엇이었는지에 따라 체감은 달라진다. 카파시의 AutoResearch는 GPU 한 대에서 이틀간 700번의 ML 실험을 돌려 학습을 빠르게 하는 방법 20가지를 찾아냈다고 알려졌다. 공통점은 명확하다. 정답을 값싸게 채점할 수 있는 좁은 문제에서 RSI가 잘 돌아간다는 것이다. 채점이 애매한 열린 문제로 갈수록 이야기가 달라진다.

ASAP의 관점: 진짜 병목은 검증이다

장밋빛만은 아니다. RSI의 근본 난관은 '재귀적 드리프트(recursive drift)'다. 모델이 자기가 만든 데이터로 학습할 때, 중간 추론 단계의 작은 오류가 반복을 거치며 눈덩이처럼 누적되는 현상이다. 앞의 사례들이 하나같이 '채점 가능한' 문제였던 이유가 여기 있다. 채점기가 튼튼할수록 드리프트를 잡아낼 여지가 크다.

그래서 최신 연구들은 '검증'에 집중한다. 외부 피드백 없이 스스로 점검하는 테스트타임 재귀 사고, 기호적 검증을 결합한 자기정렬처럼, 개선이 엉뚱한 방향으로 새지 않게 잡아 주는 장치가 핵심 과제로 떠올랐다. ASAP이 보기에 남은 열린 질문은 이것이다. 검증기 자체를 신뢰할 수 있는가, 그리고 정답이 모호한 영역에서도 이 안전장치가 작동하는가.

한국 시장과 실무자에게

RSI는 'AI가 AI를 발전시키는' 시대의 입구다. 잘 통제되면 발전 속도가 빨라지지만, 검증이 약하면 그럴듯하게 틀린 방향으로 폭주할 위험도 같이 커진다. 초거대 모델을 자체 학습하기 어려운 국내 환경에서는, 오히려 '검증·평가 파이프라인'이 현실적인 진입점이자 차별점이 될 수 있다.

실무자 관점에서 당장의 교훈은 분명하다. AI가 스스로 만든 결과(코드·데이터·요약)를 그대로 믿지 말고, 사람이나 별도 검증 단계를 한 번 더 두는 습관이다. 모델이 똑똑해질수록 '검증의 가치'는 오히려 커진다.

---

참고: ICLR 2026 RSI Workshop · AI self-improvement 2026 (연구 정리)