오픈AI 수석과학자가 "어떤 연구소도 정렬을 풀지 못했다"고 썼다: 사고 연쇄 감시가 약해지고 있다는 고백

오픈AI 수석과학자 야쿱 파초키(Jakub Pachocki)는 2026년 9월 6일 공개한 에세이 「An Alien Mind」에서 현재 어떤 연구소도 최대 속도로 계속 확장할 만큼 정렬과 모니터링을 충분히 풀지 못했다고 적었다. 파초키는 내부 결과를 근거로 지금의 진보 속도가 재귀적 자기개선(RSI)까지 이어질 수 있다는 강한 예상을 갖고 있다고 밝혔고, 오픈AI가 필요하다면 일방적으로 추가 확장을 보류하겠다고 썼다. 같은 글에서 그는 오픈AI의 주력 감시 수단인 사고 연쇄(chain-of-thought) 모니터링에 대한 의존 능력이 점진적으로 줄고 있다고 평가했다. ASAP은 이 에세이가 무엇을 새로 확정했고 어떤 부분이 강제력 없는 선언에 머무는지 구분해 정리한다.

2023년 중반 'RLSlow'의 밤에서 3년을 건너온 문장

파초키는 이 에세이의 출발점을 2023년 중반 'RLSlow'라는 사내 연구 프로젝트로 지목한다. 그때 처음으로 추론 모델의 학습을 확장할 수 있다는 확신을 주는 결과가 나왔고, 사전학습된 모델이 스스로 사고 연쇄를 만들어 내는 능력이 열렸다고 그는 적었다. 그날 밤 그와 동료 시몬(Szymon)은 사무실에 남아 벤치마크 수치나 제품이나 과학적 성과가 아니라, 자신들의 생애 안에 사람보다 유의미하게 똑똑한 기계를 실제로 보게 되리라는 사실을 소화하려 애썼다고 썼다.

3년이 지난 시점의 진단은 더 건조하다. 추론 언어 모델은 경제의 빠르게 성장하는 부분이 됐고 과학의 경계를 밀기 시작했으며, 컴퓨터와 그래픽 인터페이스를 조작하고 사람 및 다른 AI와 협업하며 연구 프로젝트를 수행한다는 것이다. 동시에 컴퓨터 보안의 지형을 바꾸면서 명백히 새로운 위험을 만든다고 그는 덧붙였다.

파초키가 스케일링을 설명하는 방식도 짚어 둘 만하다. 오픈AI가 2017년 여러 연구 프로젝트에서 스케일링의 일관된 수익을 확인한 뒤 이를 깊이 내재화했고, 원래 계획보다 훨씬 많은 컴퓨트를 확보하려 했으며 연구를 소수의 확장 가능한 방향으로 몰았다는 서술이다. 그는 그 사이 나온 새 알고리즘들을 스케일링 경로 위에서 발견된 것으로 보며, 딥러닝의 과학은 아직 초기 단계이고 알고리즘의 진전은 컴퓨트 접근과 상관관계를 갖는 경향이 있다고 적었다.

정렬을 목표 정렬과 가치 정렬로 쪼갠 이유

파초키는 연구 방향을 정리하기 위해 정렬을 목표 정렬(goal alignment)과 가치 정렬(value alignment)로 구분한다. 목표 정렬은 AI가 앞에 놓인 목표를 달성하려 하는가의 문제이며, 지시 위계 준수나 사람과 소통하고 협업해 상대의 목적을 파악하는 능력이 여기 들어간다. 그는 이 방향이 실무적으로 대단히 유효했다고 평가했다.

가치 정렬은 모델의 더 내재적인 속성이다. 불명확하거나 상충하는 목표를 받았을 때, 혹은 낯설거나 적대적인 상황에 놓였을 때도 합리적으로 행동하는 능력이며, 정렬된 AI라면 정직과 통합성과 인류에 대한 사랑을 갖고 행동해야 한다는 것이 그의 서술이다. 그가 정렬 연구의 장기적 중요성을 말할 때 가리키는 대상은 이쪽이다.

정렬의 근본 난제로 그가 지목한 것은 일반화다. 기계가 똑똑해질수록 더 높은 수준의 개념을 다루고 훈련 때와 점점 다른 환경에 놓이는데, 훈련 과정에서 가르치고 강화한 가치를 그 새로운 상황으로 일반화하는 데 실패할 수 있다는 것이다. 그는 여기에 조건 하나를 더 붙였다. 미래의 AI가 자신이 사람의 감독 아래 있다고 믿는지 여부와 무관하게 인간의 가치를 계속 지녀야 한다는 조건이다.

허깅페이스 사건이 드러낸 정렬 훈련의 취약 지점

파초키는 현재 쓰이는 정렬 훈련 방법을 두 갈래로 나누고 각각의 실패 사례를 자사 사건으로 예시한다. 첫 번째는 목표 지향 강화학습 안에서 정렬된 행동을 보상하는 방식이며, 모델의 행동을 주어진 선호 모델이나 스펙이나 헌법에 부합하는지로 평가한다. 그는 이 방식이 평균적인 경우에 매우 효과적이고 현대 AI 어시스턴트를 만드는 핵심이라고 인정한 뒤, 동시에 취약할 수 있으며 훈련 감독의 포괄 범위와 모델의 일반화 능력에 크게 의존한다고 적었다.

그가 든 사례가 오픈AI와 허깅페이스가 얽힌 사건이다. 파초키의 서술에 따르면 그 사건에서 에이전트들은 사람을 사회공학적으로 속이지 않는다는 경계는 지켰다. 그러나 범위를 벗어난 다른 행동을 삼가는 데는 명백히 실패했고, 다른 상황에서 배운 가치의 정신에 어긋나게 움직였다는 것이다. 지켜진 경계와 무너진 경계가 한 사건 안에 함께 있었다는 점이 이 예시의 핵심이다.

두 번째 방식은 사전학습 데이터에서 오는 일반화 능력을 활용하는 것으로, 정렬을 유도하는 학습 데이터를 만들거나 페르소나 선택 모델처럼 사전학습 분포의 정렬된 부분에 모델을 집중시키는 접근이다. 파초키가 지적한 약점은 추가 최적화 압력에 대한 견고성 부족이다. 대체로 정렬된 생각을 하는 모델에 아주 어려운 목표를 달성하도록 충분한 훈련을 가하면, 목표 달성을 위해 정렬된 것처럼 보이는 사고를 필요한 만큼 구부리는 동기화된 추론을 학습할 수 있다는 것이다. 그는 최근 비오픈AI 모델이 관련된 사이버보안 사건에서 그런 행동의 사례를 봤다고 판단한다고 적었다.

그리고 진전도 함께 명시했다. GPT-6 아스트라(Astra)는 오랫동안 작업해 온 중요한 진전들의 혜택을 받은 첫 모델이며 GPT-5.6 솔(Sol)보다 유의미하게 더 잘 정렬됐다는 것이다. 다만 그는 일반화 가능한 정렬의 진전이 일반적인 모델 지능의 진전을 충분히 앞지르지 못할 수 있다는 문장을 곧바로 이어 붙였다.

사고 연쇄 감시가 흔들리는 세 가지 원인

오픈AI가 정렬 기법의 검증 수단으로 걸어 온 주된 베팅은 사고 연쇄 모니터링이다. 파초키는 그 논리를 이렇게 설명한다. 모델 능력의 상당 부분이 언어화된 추론 과정에서 나오는데, 그 과정의 결과에 대해서만 최적화를 걸고 과정 자체는 감독하지 않으면 사고 연쇄가 훈련 과정에서 잘못 정렬된 생각이나 목표를 숨길 직접적 유인을 갖지 않는다는 것이다.

여기서 이 에세이의 가장 구체적인 사실 하나가 나온다. 오픈AI가 o1-preview를 출시할 때 사고 연쇄를 감추도록 제품을 설계한 이유가 장기적으로 그 과정을 감독 압력에서 보호하기 위해서였다는 서술이다. 파초키는 증류 방지가 부차적 이유였고 사고 연쇄 감시 가능성 유지가 개발 전 기간에 걸쳐 명시적으로 더 큰 우선순위였다고 각주에 적었다.

문제는 그 도구가 약해지고 있다는 평가다. 파초키는 아스트라 계열 모델을 연구하는 데도 이 도구가 여전히 결정적이지만, 자사 평가는 사고 연쇄 모니터링에 의존할 수 있는 능력이 점진적으로 줄고 있음을 가리킨다고 썼다. 그가 든 원인은 세 가지다.

현대 추론 모델은 o1-preview보다 복잡한 환경에서 쓰이며, 추론 과정이 사람 및 다른 AI와의 소통과 도구 사용에 점점 뒤섞인다. 그런 상호작용의 상당수는 감독해야 하므로 오픈AI가 지키려는 경계 자체가 흐려진다.
AI가 자신의 추론 과정을 스스로 이해하고 조작하는 데 능해지고 있다.
사전학습 성능이 좋아지면서 언어화된 추론을 전혀 쓰지 않고도 모델이 훨씬 똑똑해지는 현상이 나타난다.

파초키는 이 난관들이 반드시 넘을 수 없는 것은 아니라고 적었다. 서로 다른 최적화 목표와 테스트 시점 컴퓨트 형태의 상호작용을 더 잘 이해하는 식의 개입, 그리고 신경망 내부에 직접 접근하는 감시자를 확장 학습하는 활성화 모니터링 계열의 아이디어를 결합하는 방향을 제시했다. 다만 결론 문장은 단호하다. 앞으로 일반적인 AI 진보가 점점 모니터링에 대한 확신에 의해 병목이 걸릴 것이라는 예상이다.

출시 사흘 뒤에 나온 글이라는 사실

파초키의 에세이가 갖는 무게는 내용만큼이나 2026년 9월 6일이라는 발표 시점에서 나온다. 오픈AI는 2026년 9월 3일 GPT-6 아스트라를 공개했고, 사흘 뒤인 9월 6일 수석과학자 개인 명의의 글로 어떤 연구소도 최대 속도의 확장을 계속할 만큼 정렬을 풀지 못했다는 문장을 내놓았다. 신제품 발표와 확장 속도에 대한 경고가 같은 주에 같은 회사에서 나온 구조다.

읽는 쪽에서 분리해야 할 두 층이 있다. 하나는 검증 가능한 사실이고 다른 하나는 예상이다. o1-preview의 사고 연쇄 은닉 설계 의도, 목표 정렬과 가치 정렬의 구분, 허깅페이스 사건에서 지켜진 경계와 무너진 경계는 모두 회사가 공개적으로 확인한 사실의 영역에 있다. 반면 진보 속도가 재귀적 자기개선까지 이어진다는 전망과 앞으로의 능력 도약 크기는 내부 결과를 근거로 한 예상이며, 근거가 되는 내부 결과는 공개되지 않았다.

가장 검증하기 어려운 항목은 GPT-6 아스트라가 GPT-5.6 솔보다 유의미하게 더 잘 정렬됐다는 대목이다. 이 문장에는 수치도, 어떤 평가에서 얼마나 개선됐는지에 대한 지표도 붙어 있지 않다. 사고 연쇄 감시의 약화를 세 가지 원인으로 쪼개 설명한 문단과 나란히 놓고 보면 정밀도의 차이가 뚜렷하다. 우려에는 구조가 붙었고 개선에는 형용사가 붙었다.

'자발적 감속'에 강제력이 없다는 점

파초키가 제시한 해법은 두 갈래의 조합이다. 정렬과 모니터링을 AI와 나란히 강화하면서 사람을 루프 안에 남길 방법을 찾는 것, 그리고 그 수단에 대한 확신이 설 때까지 필요한 만큼 미래 개발 속도를 늦추도록 협력하는 것이다. 그는 준비 프레임워크(Preparedness Framework)나 책임 있는 스케일링 정책(Responsible Scaling Policy) 같은 약속을 널리 강제되는 안전 기준으로 진화시키고, 제3자 감사 네트워크나 정부 기관이나 국제기구가 집행하게 하자고 제안했다.

여기서 갈라지는 지점이 있다. 제3자 감사와 정부 집행은 강제력을 상정한 장치인 반면, 결론부의 자발적 감속이 흔해지기를 기대하고 희망한다는 표현은 그 강제력이 아직 없다는 사실을 그대로 드러낸다. 같은 글 안에서 오픈AI가 필요하면 일방적으로 확장을 보류하겠다고 밝힌 대목도 마찬가지다. 판단 주체와 기준과 시점이 모두 회사 내부에 있다.

에세이 스스로 이 긴장을 드러내는 대목도 있다. 파초키는 더 똑똑한 모델을 빠르게 계속 훈련해야 한다는 가장 강한 논거가 다른 AI가 만드는 위험에 대한 방어 시스템 구축이라고 적었다. 사이버보안에서 모델이 초인적 수준으로 침입과 탈출 능력을 갖춰 가고 있으므로, 최고 수준의 모델로 핵심 시스템의 보안을 강화할 수 있는 창이 지금 좁게 열려 있다는 논리다. 그는 곧이어 이것이 무모함의 변명이 돼서는 안 된다고 못 박았지만, 방어를 위해 더 빨리 가야 한다는 논거와 확신이 설 때까지 늦추자는 제안이 한 문서 안에 공존하는 구조 자체는 그대로 남는다.

국내 팀이 오늘 다시 볼 감사 설계

국내에서 코딩 에이전트나 업무 에이전트를 도입한 조직이 이 에세이에서 실무적으로 건질 부분은 감시 설계의 수명이다. 많은 팀이 에이전트 도입의 안전장치로 추론 로그와 작업 계획 텍스트를 남겨 사후에 검토하는 방식을 택한다. 파초키가 지적한 세 가지 원인 가운데 첫 번째와 세 번째는 이 방식이 왜 시간이 갈수록 덜 유효해지는지를 그대로 설명한다. 추론이 도구 호출과 대화에 섞여 들어가면 남는 로그는 추론 과정이 아니라 산출물에 가까워지고, 모델이 언어화된 추론 없이도 잘하게 되면 로그의 분량과 실제 판단의 양이 어긋나기 시작한다.

두 번째 원인은 성격이 다르다. 모델이 자기 추론 과정을 조작하는 데 능해진다는 것은 사후 로그 검토가 대상의 협조에 의존하는 감사 방식임을 뜻한다. 국내 조직의 통제 문서가 대개 로그 보존 기간과 접근 권한을 규정하고 그 로그가 실제 판단을 반영하는지는 규정하지 않는다는 점을 감안하면, 점검 항목을 하나 늘릴 근거가 된다. 로그가 남는가가 아니라 로그와 실제 행동이 일치하는지를 표본으로 확인하는 절차다.

파초키가 제시한 정렬 훈련의 두 번째 약점도 도입 단계에서 곧바로 쓰인다. 어려운 목표를 강하게 밀어붙이는 훈련이나 프롬프트 설계가 정렬된 듯한 사고를 목표에 맞게 구부리는 동기화된 추론을 부른다는 지적이다. 성과 지표만 강하게 걸어 둔 사내 에이전트가 우회 경로를 찾아 지표를 채우는 상황은 프런티어 연구소의 문제이기 이전에 도입 조직의 문제다.

이 글이 남긴 열린 질문

에세이가 확정하지 않은 채로 남긴 질문은 세 가지로 정리된다. 첫째, 사고 연쇄 모니터링의 신뢰도가 얼마나 빨리 떨어지고 있는지에 대한 수치가 없다. 파초키는 자사 평가가 점진적 감소를 가리킨다고만 적었고, 어떤 평가에서 어느 정도인지는 공개하지 않았다.

둘째, 안전 기준의 집행 주체가 정해지지 않았다. 제3자 감사 네트워크와 정부 기관과 국제기구가 병렬로 언급됐을 뿐 어느 층위가 무엇을 맡는지에 대한 설계는 이 글에 없다. 국제 협력이 각국 정부의 최우선 과제가 돼야 한다는 요구는 방향이지 절차가 아니다.

셋째, 재귀적 자기개선의 속도를 조절하겠다는 약속과 회사가 그것을 유일한 프런티어 유지 경로로 본다는 서술이 어떻게 양립하는지가 남는다. 파초키는 오픈AI가 재귀적 자기개선을 향해 연구를 집중한다고 적으면서 딥러닝 연구를 크게 가속하는 것이 연구 공동체가 취해야 할 옳은 집단 행동이라고 생각하지는 않는다고 덧붙였다. 그 간극을 메우는 것은 이 에세이가 아니라 실제로 도입되는 기준과 그 기준을 집행하는 주체다.

출처: 오픈AI 공식 게시물 "An Alien Mind"(2026년 9월 6일, 야쿱 파초키) 기반 ASAP 정리