보코니대 1,053명 RCT: 챗GPT는 채점 점수를 0.862점 올렸고 인과추론 훈련은 점수 대신 아이디어 다양성을 넓혔다

오픈AI 경제연구팀과 보코니대 연구진은 2026년 8월 학부 1학년 1,053명을 대상으로 한 2×2 무작위 대조 실험 결과를 공개했다. 논문에 따르면 챗GPT 에듀(GPT-4o) 접근권은 5점 척도 평가 점수를 대조군 추정치 2.09점 대비 0.862점 끌어올렸고, 인과추론 훈련은 메커니즘 식별을 약 0.55 표준편차, 반증 논리를 약 0.85 표준편차 높였으나 점수는 올리지 못했다. 두 처치는 서로 다른 능력을 건드렸고 결합했을 때 각각의 효과가 함께 나타났다. ASAP은 이 실험의 진짜 발견이 학생의 능력이 아니라 채점표의 한계에 있다는 점을 짚는다.

실험은 학급 단위로 무작위 배정된 네 개의 방으로 짜였다

연구진은 유럽의 한 대학 경제·경영·재무 전공 1학년 13개 학급을 대상으로 사전등록된 2×2 요인 무작위 대조 실험을 수행했다. 오픈AI 공지는 이 대학을 보코니대로 명시했고 논문 저자 다수도 보코니대 소속이다. 배정은 전공 내에서 학급 단위로 이뤄졌고, 조건은 인과추론 훈련 대 플라세보 게임, 챗GPT 에듀 접근 대 미접근을 교차한 네 가지였다. 참가자 수는 대조군 249명, 인과추론군 256명, GPT군 197명, 결합군 351명으로 상호작용 효과를 검정할 통계적 힘을 얻기 위해 결합군을 의도적으로 크게 뽑았다.

과제는 실제 문제였다. 학생들은 수업 시간에 45분 동안 대학 굿즈숍의 동문 인지도와 이용률을 높이는 컨설턴트 형식 제언을 최대 180단어로 작성했다. 두 목표는 마케팅 문헌에서 확립된 기준이다. 사전 공지 없이 수업 중에 진행해 참여가 평소 출석 패턴을 그대로 반영하도록 했다. 평가는 두 갈래로 이뤄졌다. 석사과정 학생 20명이 평가자로 참여해 한 답안당 3명씩 5점 리커트 척도로 채점했고, 별도로 세 명의 도메인 전문가가 작성한 제언과의 거리를 자동 텍스트 분석으로 쟀다. GPT 접근권을 받은 참가자의 자기보고 준수율은 전체 90.5%였고 GPT 단독군 88%, 결합군 92%였다.

설계에서 눈여겨볼 대목은 인과추론 훈련이 AI와 무관하게 구성됐다는 점이다. 훈련은 게임과 예시, 질문, 피드백으로 이뤄진 연습이었고 인과추론이라는 인지 기술 자체를 가르쳤다. 덕분에 이 실험은 도구를 쥐여 주는 것과 사고를 훈련시키는 것을 분리해 각각의 효과와 결합 효과를 따로 볼 수 있다. AI 관련 연구 대부분이 도구 접근권만 무작위화하고 인지 능력은 참가자에게 딸려 온 관측 변수로 다뤄 온 것과 다른 지점이다.

점수를 올린 것은 챗GPT뿐이었다

평가 성과에서 유의한 개선을 만든 처치는 GPT 접근권 하나였다. 균형 통제변수를 넣은 추정에서 인지도·이용률 점수는 0.862점 상승했고, 대조군의 추정 점수가 2.09점이므로 5점 척도에서 절반 가까이 되는 위치가 한 단계 가까이 올라간 셈이다. GPT 접근군의 답안은 전문가 세 명이 작성한 제언과도 더 가까워졌다. 인과추론 훈련 단독은 효과가 없거나 근소하게 음의 방향이었고 결합 처치도 마찬가지였다.

이 상승이 겉모습 때문인지 내용 때문인지를 가르기 위해 연구진은 사후 이중선택 라소 회귀를 돌렸다. GPT 계수는 원래 0.862였다가 통제변수를 단계적으로 넣으면서 0.490, 0.448, 0.362로 줄어든다. 텍스트 특징과 아이디어 수와 다양성, 인과추론 지표까지 모두 통제한 뒤에도 원래 효과의 절반 가까이가 남는다는 뜻이다. 논문은 이를 근거로 LLM이 답안의 제시 방식만이 아니라 내용 자체를 개선했다고 해석한다.

숫자를 읽을 때 조심할 것과 인정할 것이 갈린다. 인정할 것은 감소분의 크기다. 0.862에서 0.362까지 줄었다는 사실은 GPT 효과의 상당 부분이 문장의 응집성과 아이디어 개수 같은 표현 층위에서 나왔다는 증거이며, 이는 채점자가 매끄러운 글에 후한 점수를 준다는 오래된 우려와 정확히 겹친다. 동시에 조심할 것은 남은 0.362다. 통제 가능한 텍스트 지표를 모두 걷어낸 뒤에도 남는 이 부분은 초심자가 혼자서는 떠올리지 못한 실질을 도구가 보탰다는 쪽에 무게를 싣는다. 이 실험이 초심자와 잘 정의된 과제라는 조건에서 수행됐다는 점도 함께 기억할 필요가 있다.

훈련은 채점표가 보지 않는 곳을 바꿨다

인과추론 훈련의 효과는 다른 차원에서 뚜렷했다. 대조군 대비 메커니즘 식별은 약 0.55 표준편차, 반증 논리는 약 0.85 표준편차 상승했다. 훈련받은 학생들은 자기 아이디어가 왜 작동하는지, 어떤 조건에서 작동하지 않을지를 더 명확히 적었다. 아이디어 다양성에서도 훈련군이 앞섰다. 한 답안 안에 담긴 아이디어들 사이의 거리를 재는 답안 내 다양성에서 인과 조건이 가장 강한 효과를 냈고 그 크기는 약 0.5 표준편차였으며, 참가자들 사이의 핵심 아이디어 거리를 재는 답안 간 다양성에서도 인과 조건의 답안이 더 멀리 떨어져 있었다. GPT는 답안 내 다양성에서 양의 효과를 냈지만 훨씬 작았고, 답안 간 다양성은 사실상 바꾸지 못했다.

반대로 GPT는 아이디어 개수를 크게 늘렸다. 핵심 아이디어 수를 0.5 표준편차 이상 끌어올렸고 논리적 응집성도 개선했다. 그러나 단독으로는 메커니즘 기반 추론도 반증 가능성도 유도하지 못했다. 다시 말해 GPT는 같은 방향의 아이디어를 더 많이, 더 매끄럽게 만들었고 인과추론 훈련은 다른 방향의 아이디어를 만들었다.

두 처치가 서로 다른 축을 건드렸다는 것이 이 실험의 핵심 구조다. 흔히 AI 시대의 교육 논쟁은 학생이 스스로 생각하는 법을 배워야 하는가 아니면 AI를 쓰는 법을 배워야 하는가라는 양자택일로 제시된다. 이 실험의 데이터는 두 능력이 경쟁하는 것이 아니라 직교한다고 말한다. 하나는 답안의 완성도와 밀도를 담당하고 다른 하나는 답안이 향하는 방향의 폭을 담당한다. 교육과정 설계에서 둘 중 하나를 고르는 것은 애초에 잘못된 문제 설정이라는 뜻이다.

좋은 사고가 점수가 되지 않은 이유는 학생이 아니라 채점표에 있다

가장 해석이 필요한 결과는 인과추론 훈련이 사고를 바꾸고도 점수를 올리지 못했다는 사실이다. 논문은 그 이유를 분해로 밝힌다. 반증 가능성과 메커니즘 식별은 평가 점수와 음의 관계에 있었고, 이 두 변수를 회귀에 포함하자 인과 처치의 계수가 양으로 돌아섰다. 다양성 지표에서도 방향이 갈렸다. 답안 내 다양성은 양이었지만 답안 간 다양성은 음이었다. 평가자는 한 답안 안에 여러 아이디어가 풍성하게 들어 있는 것은 보상했지만, 전형적인 해답 공간에서 멀어진 답안에는 벌점을 줬다.

이 결과의 함의는 학생 쪽이 아니라 평가 장치 쪽을 향한다. 채점표는 인지도와 이용률이라는 두 개의 표준 마케팅 목표를 얼마나 잘 다뤘는지만 측정하도록 설계됐다. 그 기준에서 보면 남들과 다른 발상은 개선이 아니라 이탈로 읽힌다. 논문의 표현대로 이 채점표는 관습적 답안으로부터의 거리를 벌한다. 훈련이 만들어 낸 다양성은 실재했고 텍스트 분석으로 측정됐지만, 그 다양성을 요구하지 않는 평가 체계 안에서는 존재하지 않는 것과 같았다.

이 지점은 LLM과 무관하게 성립한다는 점이 중요하다. GPT는 다양성을 늘리지도 줄이지도 않았다. 즉 독창성이 점수로 환산되지 않는 문제는 AI가 만든 것이 아니라 원래 있던 것이고, AI는 매끄러운 답안을 대량으로 가능하게 만들어 그 문제를 눈에 띄게 만들었을 뿐이다. 채점표를 고치지 않은 채 AI 사용만 금지하거나 허용하는 결정은 이 문제를 건드리지 않는다.

도구를 쥐여 줘도 배운 기술은 계속 쓰였다

교육 정책 관점에서 가장 실용적인 결과는 결합군에서 나온다. 챗GPT와 인과추론 훈련을 함께 받은 학생들은 양쪽 효과를 모두 보였다. 아이디어 다양성은 훈련만 받은 학생들과 같은 수준이었고, 채점 점수와 아이디어 수는 GPT만 받은 학생들과 비슷했다. 논리적 응집성에서는 상호작용 항이 약 0.48 표준편차로 양의 방향이었고 인과 단독 효과는 0.15 표준편차에 그쳤다. 메커니즘 식별에서도 상호작용 항이 약 0.20 표준편차로 작지만 양이었다. 설명을 찾고 전제를 의심하는 흔적은 결합군에서 가장 뚜렷했다.

여기서 확인된 것은 대체 우려에 대한 반증에 가깝다. AI가 손 닿는 곳에 있으면 학생이 배운 사고 기술을 쓰지 않고 과제를 넘겨 버릴 것이라는 우려는 이 실험에서 지지받지 못했다. 훈련의 효과는 LLM이 있어도 살아남았다. 논문은 설계상 인지 과정을 직접 추적하지는 못했다고 밝히면서도, 참가자들이 과제를 LLM에 위임하지 않고 훈련받은 기술을 실제로 발휘한 것으로 해석한다.

다만 이 결론에는 결합이 곧 이득이라는 단순화가 붙기 쉽다. 데이터는 그보다 조심스럽다. 결합군의 채점 점수는 GPT 단독군을 유의하게 넘어서지 않았고, 다양성도 훈련 단독군을 넘어서지 않았다. 즉 둘을 합치면 각각의 최대치를 각각 얻는 것이지 곱해지는 것이 아니다. 그럼에도 가장 넓은 범위의 지표에서 이득을 본 집단이 결합군이라는 사실은, 어느 하나만 선택하는 설계가 항상 손해라는 것을 뜻한다.

한국 교육·채용 현장에 옮길 때의 조건과 한계

한국 맥락에서 이 실험이 곧바로 겨냥하는 것은 AI 사용 허용 여부를 둘러싼 논쟁이 아니라 평가 설계다. 표준 루브릭으로 산출물만 채점하는 방식은 국내 대학 과제와 기업 서류 전형, 인턴 과제 평가에 광범위하게 쓰인다. 이 실험은 그런 조건에서 초심자가 LLM을 쓰면 점수가 오르고, 그 상승분의 절반가량이 표현 층위에서 온다는 것을 보여 준다. 완성도로 지원자를 가르던 관문이 도구 접근성으로 좁혀진다는 뜻이며, 변별력을 유지하려면 무엇을 채점 대상으로 삼을지를 바꿔야 한다.

논문이 제시하는 방향은 명확하다. 다양성과 독창성을 요구하고 평가하는 체계 없이는 인과추론 훈련이 만들어 낸 사고의 폭이 성과로 나타나지 않는다. 실무로 옮기면 최종 답안 하나가 아니라 검토했다가 버린 대안, 어떤 조건에서 제안이 실패하는지에 대한 서술, 근거와 메커니즘 설명을 함께 요구하고 그것에 배점을 두는 형태가 된다. 이 실험에서 훈련군이 앞섰던 항목이 정확히 그런 것들이었다.

동시에 일반화의 한계는 분명히 해 둘 필요가 있다. 사용된 모델은 GPT-4o로 현 시점 기준으로는 앞선 세대이며, 최신 모델에서는 효과 크기가 달라질 수 있다. 과제는 45분짜리 단발 마케팅 케이스였고 학기 단위 학습 성과가 아니다. 평가자는 석사과정 학생 20명이었지 전문 채점자가 아니었고, 전문가 기준선은 세 명의 제언이었다. 대상은 한 대학의 경제·경영·재무 전공 1학년으로, 국내 대학의 다른 전공이나 실무 신입 직군에 그대로 옮길 근거는 이 논문 안에 없다. 저자 익명성 유지를 이유로 대학명과 사전등록 번호를 논문 본문에서 공개하지 않았다는 점도 함께 기록해 둔다.

출처: 오픈AI 경제연구 공지 Better answers, broader thinking(2026년 8월 27일)와 논문 Training novices to think, or giving them LLMs? Evidence from an RCT(2026년 8월, 보코니대·오픈AI·듀크대·UC버클리 공동) 기반 ASAP 정리