AI 튜터는 학생을 밀어붙이지 못한다: GPT-5.5는 밀어붙여야 할 순간의 4.6%에서만 그렇게 했다

앨런인공지능연구소(Ai2)는 2026년 8월 7일 AI 튜터가 도울 때와 물러설 때를 구분하는지 측정하는 평가 체계 튜터모먼츠(TutorMoments)를 공개했다. 실제 수학 과외 대화 462건과 교사 27명이 표시한 핵심 순간 1,536개를 바탕으로 언어모델 7종을 재생 방식으로 평가한 결과, 별다른 지시 없이 튜터 역할만 준 조건에서 GPT-5.5는 학생을 밀어붙여야 할 순간의 4.6%에서만 그렇게 했고 클로드 오푸스 4.8은 20.8%, 제미나이 2.5 프로는 22.3%에 그쳤다. 반면 교육적 판단을 설명하는 프롬프트를 주자 같은 GPT-5.5의 점수가 0.046에서 0.531로 올랐다. ASAP은 Ai2의 공개 보고서와 데이터셋을 1차 출처로 이 평가가 실제로 무엇을 측정했는지 정리한다.

도움을 잘 주는 능력과 언제 멈출지 아는 능력은 다른 문제다

튜터모먼츠가 겨냥한 문제는 언어모델이 도움을 주는 능력이 아니라 도움을 참는 능력이다. Ai2 연구진은 보고서에서 일반적인 언어모델 개발이 유용성(helpfulness) 같은 행동을 최적화하지만, 효과적인 AI 튜터는 언제 돕고 언제 학생에게 부담을 넘길지 알아야 한다고 문제를 제기했다. 기존 튜터링 벤치마크가 정답을 알려주지 않는지, 발판을 제공하는지처럼 행동 자체를 평가하는 데 비해, 튜터모먼츠는 그 행동이 그 순간에 적절했는지를 묻는다.

평가는 세 가지 지표로 이뤄진다. 첫째는 적절한 발판 제공(appropriate scaffolding)으로, 교사가 도움이 필요하다고 판단한 순간에 과도하지 않게 도왔는지를 본다. 둘째는 적절한 밀어붙이기(appropriate rigor)로, 학생이 준비됐다고 교사가 판단한 순간에 더 어려운 사고를 요구했는지를 본다. 셋째는 과잉 발판 회피로, 전체 순간에서 필요 이상으로 난이도를 낮추지 않은 비율이다. 세 값 모두 0에서 1 사이이며 과잉 발판은 언제나 감점 요인으로 처리된다.

측정 방식은 재생(replay)이다. 실제 학생과 사람 튜터의 대화를 교사가 지정한 지점에서 끊고, 그 지점부터 언어모델 튜터가 이어받아 대화를 진행한다. 상대역인 학생은 클로드 오푸스 4.6이 원래 학생의 행동 특성을 따라 연기하며, 재생은 튜터 3턴과 학생 2턴을 합쳐 5턴으로 고정된다. 같은 대화 맥락에서 서로 다른 교육적 선택을 비교할 수 있다는 점이 이 설계의 핵심이다.

기본 프롬프트에서 모든 모델이 밀어붙이기에 실패했다

일곱 모델의 기본 프롬프트 성적은 한 방향으로 치우쳐 있다. 적절한 밀어붙이기 점수는 GPT-5.5가 0.046, GPT-5.4 미니가 0.023, 클로드 소네트 4.6이 0.085, 딥시크 V4 프로가 0.088, 제미나이 3.5 플래시가 0.158, 클로드 오푸스 4.8이 0.208, 제미나이 2.5 프로가 0.223이다. 같은 조건에서 적절한 발판 제공은 제미나이 2.5 프로 0.727, 제미나이 3.5 플래시 0.723, 클로드 오푸스 4.8 0.615로 훨씬 높다. 도와야 할 때 돕는 일은 어느 정도 하지만 물러서야 할 때 물러서는 일은 거의 하지 못한다는 뜻이다.

과잉 발판 회피 점수가 이 해석을 뒷받침한다. 기본 프롬프트에서 이 값은 GPT-5.5 0.173, GPT-5.4 미니 0.188, 딥시크 V4 프로 0.379, 클로드 소네트 4.6 0.437, 클로드 오푸스 4.8 0.462, 제미나이 2.5 프로 0.546, 제미나이 3.5 플래시 0.598이다. 가장 높은 값도 열 번 중 네 번은 필요 이상으로 난이도를 낮췄다는 의미이며, 가장 낮은 값은 여덟 번 이상이 과잉 발판이었다는 의미다. 연구진은 이를 두고 최신 모델들이 학습자의 필요에 맞추기보다 유용성 쪽으로 기본 설정돼 있다고 서술했다.

지표 간 순위가 일치하지 않는다는 점도 함께 봐야 한다. 기본 프롬프트에서 발판 제공 1위는 제미나이 2.5 프로이지만 과잉 발판 회피 1위는 제미나이 3.5 플래시이며, 밀어붙이기에서는 클로드 오푸스 4.8과 제미나이 2.5 프로가 앞선다. 일반 성능 순위가 그대로 옮겨오지 않는 영역이라는 뜻이고, 연구진도 이 평가가 알려진 모델 크기와 성능 서열을 재현하면서 동시에 최신 모델들 사이를 구분해낸다고 밝혔다.

프롬프트 한 문단이 GPT-5.5의 점수를 11.5배로 끌어올렸다

이 연구에서 가장 큰 변화를 만든 변수는 모델이 아니라 프롬프트다. 발판과 과잉 발판, 밀어붙이기의 상충 관계를 설명하고 학생의 근접발달영역에 맞추라고 지시한 이른바 평가 인지(evaluation-aware) 프롬프트를 주자, 적절한 밀어붙이기 점수는 GPT-5.5가 0.046에서 0.531로 11.5배, 클로드 소네트 4.6이 0.085에서 0.792로 9.3배, 클로드 오푸스 4.8이 0.208에서 0.831로 4.0배 올랐다. 과잉 발판 회피도 클로드 소네트 4.6이 0.437에서 0.913으로, 클로드 오푸스 4.8이 0.462에서 0.896으로 올랐다.

이 결과는 두 가지를 동시에 뜻한다. 하나는 모델에 능력이 없어서 밀어붙이지 못한 것이 아니라는 점이다. 같은 가중치를 가진 같은 모델이 지시 한 문단으로 열 배 가까이 달라졌다면, 기본 프롬프트에서의 낮은 점수는 능력의 한계가 아니라 기본 행동 정책의 산물이다. 유용성을 우선하도록 정렬된 모델이 교육 상황에서 기본값으로 과잉 도움을 선택한다는 해석이 이 대비에서 나온다.

다른 하나는 그 개선이 자동으로 오지 않는다는 점이다. 연구진은 일상 사용자가 "튜터처럼 행동해줘" 같은 훨씬 단순한 프롬프트를 쓴다는 선행 연구를 인용하면서, 널리 쓰이는 챗봇 인터페이스가 이런 요청을 튜터링 전용 처리 경로로 보내는지는 알려져 있지 않다고 적었다. 즉 실험실에서 확인된 상한과 학생이 실제로 만나는 성능 사이에 프롬프트 설계라는 간극이 남는다. 학교나 학습 서비스가 언어모델을 튜터로 붙일 때 승부처가 모델 선택이 아니라 시스템 프롬프트 설계라는 실무적 결론이 여기서 나온다.

또한 프롬프트로도 메워지지 않는 부분이 남는다. 평가 인지 프롬프트에서도 GPT-5.5의 밀어붙이기는 0.531, 딥시크 V4 프로는 0.492에 머물렀고, 연구진은 프롬프트만으로는 일관되게 적절한 교육적 판단을 만들어내기에 충분하지 않다고 결론지었다.

인간 교사 0.458이라는 숫자를 오독하면 결론이 뒤집힌다

튜터모먼츠 보고서에서 가장 오해하기 쉬운 수치는 사람 튜터의 기준선 0.458과 0.182, 0.496 세 값이다. 사람 튜터의 점수는 적절한 발판 제공 0.458, 적절한 밀어붙이기 0.182, 과잉 발판 회피 0.496으로, 평가 인지 프롬프트를 받은 클로드 오푸스 4.8의 0.858과 0.831, 0.896보다 낮다. 이 숫자만 떼어 보면 AI 튜터가 사람 교사를 앞섰다는 문장이 만들어진다.

그러나 연구진은 이 해석을 보고서 본문에서 직접 차단했다. 사람 튜터의 결정이 이상적인 튜터링을 대표하지 않으며, 교사 주석자들이 애초에 효과적이지 않았던 순간을 표시하도록 지시받았기 때문에 이 데이터셋은 사람 튜터가 놓친 기회나 잘못 맞춘 지점에 집중돼 있다는 설명이다. 사람 튜터는 규범적 정답이 아니라 언어모델의 행동을 맥락에 놓기 위한 자연스러운 참고선이라고 명시했다.

데이터를 만든 조건도 이를 뒷받침한다. 대화의 출처인 고밀도 과외 제공 기관의 튜터는 훈련받은 자원봉사자이거나 근로장학 프로그램에 참여한 대학생이며, 이들은 AI 지원을 받지 않았다. 즉 비교 대상은 숙련 교사가 아니라 자원봉사 튜터이고, 채점 대상 순간은 그 튜터들이 판단을 잘못했다고 교사들이 표시한 지점이다. 이 구조에서 나온 0.458을 사람 교사의 평균 실력으로 옮겨 읽으면 결론이 반대 방향으로 뒤집힌다.

한 가지 더 중요한 지표가 상황 적응력이다. 연구진은 발판이 필요한 순간과 밀어붙여야 할 순간에서 튜터의 행동 분포가 얼마나 달라지는지를 쿨백라이블러 발산으로 쟀는데, 사람 튜터가 0.179와 0.177이고 기본 프롬프트 모델은 0.048에서 0.182 사이였다. 즉 기본 프롬프트 모델은 상황이 달라져도 비슷한 행동을 반복했고, 사람 튜터 수준의 상황 민감도에 도달한 것은 클로드 오푸스 4.8뿐이었다. 총점이 높다고 해서 상황에 맞춰 전략을 바꾼다는 뜻이 아니라는 것이 이 지표의 요지다.

무엇을 어떻게 모았는지가 이 평가의 신뢰도를 만든다

튜터모먼츠의 근거는 실제 과외 기록과 현직 교사의 판단이다. 공개된 튜터모먼츠 프리뷰 데이터셋은 미국 2학년부터 7학년까지 학생 198명과 사람 튜터 173명이 나눈 텍스트 대화 462건으로 구성되며, 대화당 평균 384.1턴에 평균 53.5분 분량이다. 학생과 튜터는 평균 2.3회 같은 상대와 만났고, 기록은 거의 전부 수학 과외다. 주석은 그중 122건에 붙었고 핵심 순간 1,536개가 표시됐다.

주석자는 미국에서 수학을 가르친 경력 3년 이상인 교사 27명이며 이 가운데 14명은 10년 이상 경력자다. 보수는 시간당 35달러에서 시작해 주석 5시간을 채우면 40달러, 15시간을 채우면 45달러로 올라간다. 교사들은 각 순간에 대해 상황과 튜터의 행동, 그 결과를 자유 서술로 적었고 평균 81.5단어 분량이다. 한 순간에 평균 3.5명의 교사가 주석을 달았으며, 여러 교사가 상황 적절성을 언급한 경우 발판에 대해서는 68%, 밀어붙이기에 대해서는 63%가 의견이 일치했다.

평가에 실제로 쓰인 순간은 520개다. 밀어붙이기가 적절하다고 분류된 순간 260개와 발판이 적절하다고 분류된 순간 738개 중 무작위로 뽑은 260개를 합쳐 절반씩 맞춘 구성이다. 채점은 언어모델 파이프라인이 맡았고, 검증 결과 발판 방향 판별의 F1은 클로드 오푸스 4.8 기준 0.9313인 반면 밀어붙이기 판별은 0.6401로 뚜렷하게 낮았다. 연구진은 밀어붙이기라는 개념이 숙련된 교사에게도 정의하고 일관되게 적용하기 어려운 대상이라는 선행 연구를 들어 이 차이를 설명했다.

국내 학습 서비스가 이 평가에서 가져갈 수 있는 것

국내 학습 서비스에 이 연구가 주는 실질적 자산은 점수표가 아니라 평가 방법이다. Ai2는 데이터셋을 허깅페이스에, 코드를 깃허브에 함께 공개했으므로, 재생 방식 자체를 자사 서비스의 대화 기록에 적용해 같은 세 지표를 뽑는 구성이 가능하다. 자사 튜터가 어떤 순간에 과잉 도움을 주는지를 총평이 아니라 순간 단위로 집계할 수 있다는 점이 기존 만족도 조사와 다른 부분이다.

다만 그대로 옮겨 쓸 수 없는 조건이 분명하다. 데이터는 미국 학생과 미국 교사의 판단으로 만들어졌고 과목은 수학, 학년은 2학년에서 7학년에 한정된다. 학습 규범과 교사의 개입 기준은 문화와 교육과정에 따라 달라지므로, 국내에 적용하려면 한국 교사가 한국 학생의 대화에서 핵심 순간을 표시하는 주석 단계를 다시 밟아야 한다. 이 연구가 재사용 가능하게 만든 것은 정답 데이터가 아니라 상황을 먼저 정의하고 그 상황에서의 적절성을 묻는 평가 틀이다.

당장 적용할 수 있는 결론은 프롬프트 쪽에 있다. 발판과 밀어붙이기의 상충 관계를 명시한 지시 한 문단이 밀어붙이기 점수를 최대 11.5배 올렸다는 결과는 시스템 프롬프트에 교육적 판단 기준을 직접 적어 넣는 작업의 가치를 수치로 보여준다. AI 튜터 도입을 검토하는 조직이라면 모델 비교보다 이 문단을 설계하고 검증하는 데 자원을 먼저 배분하는 편이 효율적이다.

이 결과를 인용할 때 함께 적어야 할 조건

첫째 조건은 규모와 범위다. 이 보고서는 예비 보고서이고 데이터셋 이름 자체가 프리뷰이며, 평가에 쓰인 순간은 520개다. 대상은 미국 수학 과외의 텍스트 기록이고, 연구진도 더 큰 멀티모달 데이터셋과 개선된 채점 파이프라인을 준비하며 피드백을 받기 위해 이 표본을 공개한다고 밝혔다. 표의 숫자를 AI 튜터 일반의 성능으로 확장해 인용하면 근거를 넘어선다.

둘째 조건은 채점자가 언어모델이라는 점이다. 채점 파이프라인은 클로드 오푸스 4.8로 구동되며 평가 대상에도 클로드 계열이 포함돼 있다. 연구진 스스로 프롬프트를 주로 클로드로 개발했기 때문에 다른 모델 계열로는 성능이 부분적으로만 일반화된다고 적었고, 언어모델이 자기 출력을 선호할 수 있다는 선행 연구를 인용하며 향후 여러 채점 모델로 조율할 필요를 언급했다. 밀어붙이기 판별 F1이 0.6401에 머문다는 점까지 감안하면, 밀어붙이기 관련 수치는 발판 관련 수치보다 불확실성이 크다.

셋째 조건은 학생이 사람이 아니라는 점이다. 재생에서 학생 역할은 클로드 오푸스 4.6이 맡으며, 이 합성 학생은 원본 대화 전체를 볼 수 있어 언어모델 튜터가 갖지 못한 정보를 가진 오라클 학생이다. 연구진은 예비 실험에서 이런 학생이 부자연스럽게 성공적인 학습 행동을 보이는 경향을 관찰했다고 밝히고, 현재로서는 이를 튜터의 행동을 관찰하기 위한 자리표시자로 쓴다고 서술했다. 5턴이라는 짧은 재생 길이까지 포함해, 이 점수들은 실제 학습 성과가 아니라 통제된 조건에서의 교육적 선택을 잰 값이다.

이 평가가 다음에 답해야 할 질문

튜터모먼츠가 남긴 가장 큰 미해결 질문은 적절한 교육적 선택이 실제 학습 성과로 이어지는지다. 이 평가는 교사가 적절하다고 본 행동과 튜터의 행동이 일치하는지를 재며, 학생의 성적이나 이해도 변화를 재지 않는다. 교사 판단과 학습 결과 사이의 연결은 별도의 연구가 필요한 영역으로 남는다.

두 번째 질문은 기본값을 바꿀 수 있는지다. 프롬프트로 점수가 크게 오른다는 사실은 후속 학습 단계에서 유용성 편향을 조정할 여지가 있다는 뜻이기도 하다. 모델 제공자가 교육 맥락에서의 기본 행동을 조정할 경우 같은 표가 어떻게 달라지는지가 다음 판본에서 확인할 지점이다.

세 번째 질문은 언어와 문화의 이전 가능성이다. 발판과 밀어붙이기라는 개념은 교육 이론에서 왔지만 그 적용 기준은 교사의 문화적 판단에 걸쳐 있고, 이 데이터에서도 교사 간 일치율이 68%와 63%에 그쳤다. 다른 언어와 교육과정에서 같은 틀을 다시 세울 때 이 일치율이 어떻게 움직이는지가 튜터모먼츠 방식의 확장성을 가른다.

출처: Ai2 예비 보고서 "When Help is Unhelpful: Evaluating AI Tutors for Productive Struggle"(2026년 8월 7일), 데이터셋 allenai/tutormoments-preview(허깅페이스), 코드 github.com/allenai/tutormoments