AI가 글을 다듬으면 문체의 폭이 21~50% 줄어든다: 네이처 인간행동, 텍스트 88만 건 분석

대규모 언어모델을 글쓰기 보조로 쓰면 내용은 유지되지만 문체의 다양성은 줄어들고, 글쓰기 복잡도의 분산이 데이터셋과 모델에 따라 21%에서 50%까지 통계적으로 유의하게(P ≤ 0.05) 감소한다는 연구가 Nature Human Behaviour에 2026년 8월 24일 실렸다. 남캘리포니아대(USC) 연구진이 쓴 'The shrinking landscape of linguistic diversity in the age of large language models'는 서로 다른 영역의 데이터셋 7종과 텍스트 88만 건 이상을 놓고 세 갈래 연구를 돌렸다. 모델이 글을 고칠 때 핵심 내용은 그대로 두면서도 문체를 균질화하고, 다수 집단의 특징은 증폭하고 그렇지 않은 특징은 억제해 개성보다 순응을 강조한다는 것이 결론이다. ASAP은 네이처 인간행동 논문 페이지를 1차 출처로 정리한다.

데이터셋 7종과 세 갈래 설계

연구가 쓴 데이터셋 7종은 성격 연구용 에세이부터 미 의회 속기록까지 영역이 흩어져 있다. 공개된 데이터 목록에 따르면 레딧 r/WritingPrompts 게시물, arXiv 초록, Patch.com 지역 뉴스 기사, 미 의회 본회의 연설, yourmorals.org 참가자의 페이스북 게시물과 도덕기반질문지 응답, Empathic Conversations 대화, 그리고 James W. Pennebaker가 관리하는 Essays 코퍼스가 들어갔다. 이 가운데 여섯은 공개 데이터이고 Essays 한 종만 소유자 승인을 받아야 쓸 수 있다.

세 갈래 가운데 하나는 원문을 모델에 고쳐 쓰게 한 뒤 원문과 비교하는 실험이다. 쓰인 모델은 GPT-3.5와 제미나이와 라마 3 세 계열이고, 고쳐 쓰기 지시는 문법·구문 교정, 재표현, 명료화, 간결화, 유창성, 자연스러움, 쉬운 말, 다듬기, 학술체, 격식화, 매끄럽게, 가독성 개선까지 12가지를 돌렸다. 이 실험의 표본 크기는 데이터셋별로 Essays 2,348건, YourMorals 3,641건, Empathic Conversations 711건, 의회 연설 710건, arXiv 1,000건, 레딧 1,000건, 패치 뉴스 1,000건이다.

두 번째 갈래는 실제 웹 코퍼스의 시계열이다. arXiv 논문 8만 238건, 패치 뉴스 기사 37만 9,583건, 레딧 이야기 31만 8,490건을 월 단위로 쌓아 챗GPT 공개(2022년 11월) 전후의 변화를 봤다. 세 번째 갈래는 논문이 Study 3으로 부르는 분석으로, 사람의 특성을 맞히는 분류기를 원문으로 학습시킨 뒤 고쳐 쓴 글에 그대로 적용해 예측이 어떻게 무너지는지 측정했다.

뜻은 남고 결은 지워진다

논문의 초록이 명시한 핵심 결과는 두 층위가 갈린다는 것이다. 모델이 다듬고 고쳐 쓸 때 핵심 내용(core content)은 유지되지만, 같은 처리가 문체를 균질화해 글쓰기 복잡도의 분산을 21%에서 50%까지 줄인다. 이 감소폭은 데이터셋과 모델을 가로질러 나타났고 P ≤ 0.05 수준에서 통계적으로 유의했다.

내용 유지 여부는 임베딩으로 확인했다. 원문과 고쳐 쓴 글을 OpenAI text-embedding-ada-002로 각각 임베딩해 텍스트 단위로 코사인 유사도를 계산했고, 원문 하나가 자기 자신의 고쳐 쓴 판본들에 대한 짝지은 기준선 역할을 한다. 별도의 통제집단을 두지 않은 이유도 여기에 있다.

문체 쪽에서 추적한 지표는 다섯 가지다. 어휘 심프슨 지수, 어휘 섀넌 엔트로피, 평균 의존 연결 길이, 유형·토큰 비율, 그리고 하팍스 레고메나(한 번만 등장하는 단어)이다. 어휘가 얼마나 고르게 퍼져 있는지, 문장의 통사 구조가 얼마나 멀리 뻗는지, 한 번만 쓰인 단어가 얼마나 되는지를 각각 재는 값들이고, 개인의 글버릇이 가장 잘 드러나는 층이기도 하다.

챗GPT 공개 이후 실제 코퍼스에서 벌어진 일

시계열 분석은 실험실 밖에서도 같은 방향의 변화를 보여준다. arXiv와 패치 뉴스와 레딧 세 코퍼스 모두에서 복잡도 지표 다섯 가지의 월별 분산이 챗GPT 공개 이후 줄어들었고, 같은 기간 AI 작성 귀속 비율은 올라갔다. 그리고 같은 지표들의 월별 평균은 반대로 올라갔다.

이 조합이 이 논문에서 가장 눈여겨볼 관측이다. 평균이 오른다는 것은 글이 전반적으로 더 정교하고 더 풍부한 어휘를 쓰게 됐다는 뜻이고, 분산이 준다는 것은 그 정교함이 서로 비슷한 방식으로 수렴했다는 뜻이다. 개별 글의 품질 지표와 집단의 다양성 지표가 반대 방향으로 움직인 것이다.

사람을 읽는 신호가 어떻게 무너지는가

Study 3은 언어가 담고 있는 사람의 정보가 얼마나 살아남는지를 직접 측정했다. 원문으로 학습한 분류기를 고쳐 쓴 글에 적용했을 때의 평균 F1을 모델별, 프롬프트별, 특징 추출 방식별, 분류기 계열별로 나눠 보고했다. 대상이 된 특성 집단은 연령대 805건, 성격 2,348건, 공감 711건, 성별 710건, 도덕 3,641건, 정당 소속(Affiliation) 710건이다.

예측이 어떤 방향으로 틀어지는지도 따로 봤다. 원문에서 맞게 분류됐던 글만 분모로 잡고, 고쳐 쓴 뒤 예측이 어느 쪽으로 이동했는지를 GPT-3.5와 제미나이와 라마 3별로, 그리고 문법·구문 교정과 재표현 프롬프트별로 갈라 비율을 냈다. 하위 차원별 쏠림은 델타(Delta)라는 지표로 다뤘는데, 원문과 고쳐 쓴 글에서 예측된 클래스 빈도의 불균형을 재는 대리 지표다. 검정은 양측 짝지은 윌콕슨 부호순위 검정으로 하고, 순위 이연 상관 r과 2,000회 부트스트랩 95% 신뢰구간을 함께 보고했다.

평균이 오르는데 분산이 준다는 말의 무게

이 결과를 "AI가 글을 망친다"로 요약하면 방향이 어긋난다. 논문이 보여준 것은 개별 글이 나빠진다는 이야기가 아니라, 개별 글이 좋아지는 방식이 하나로 모인다는 이야기다. 각 저자 입장에서 고쳐 쓰기는 이득이다. 문장이 매끄러워지고 어휘가 풍부해지며 문법이 정리된다. 손해는 저자 개인의 계정에서 발생하지 않고 집단의 장부에서 발생한다.

이런 구조는 개인의 합리적 선택이 전체의 손실로 이어지는 익숙한 형태를 띤다. 아무도 다양성을 줄이려 하지 않았고 모든 사용자는 자기 글을 개선하려 했을 뿐인데, 결과적으로 사회가 언어에서 읽어내던 정보가 얇아진다. 그래서 이 문제는 사용자 교육이나 개인의 절제로 되돌리기 어렵다. 되돌리려면 도구 쪽이 바뀌어야 하고, 구체적으로는 "더 나은 글"의 기본값이 왜 하나뿐인지를 물어야 한다.

여기서 도구 설계자에게 던질 질문이 하나 생긴다. 지금의 고쳐 쓰기 기능은 대체로 단일 결과를 내놓고, 그 결과는 학습 데이터의 다수 문체 쪽으로 수렴한다. 사용자의 기존 문체 통계를 유지 제약으로 넣거나, 서로 다른 방향의 후보를 복수로 제시하거나, 어휘 다양도 지표가 얼마나 깎였는지를 보여주는 설계는 기술적으로 어려운 축에 들지 않는다. 이 논문이 실무에 남기는 가장 실행 가능한 항목이 그 지점에 있다.

채용과 진단과 개인화에서 먼저 깨진다

논문이 지목한 파급 영역은 진단 과정, 개인화, 채용 평가, 문화 보존 네 가지다. 이 목록은 추상적으로 들리지만 각각은 이미 언어에서 사람을 읽는 방식으로 굴러가는 실무다.

채용이 가장 직접적이다. 자기소개서와 지원 에세이에서 지원자의 성향을 읽어내는 관행은 국내 채용에서도 오래됐고, 최근에는 그 판독을 자동화한 도구도 쓰인다. 그런데 지원자 대부분이 같은 계열의 모델로 글을 다듬고 나면, 판독 대상인 신호 자체가 얇아진다. 이 논문의 실험 구조가 정확히 그 상황이다. 원문으로 학습한 분류기를 고쳐 쓴 글에 적용하는 것은, 사람 손으로 쓴 지원서로 만든 기준을 AI로 다듬은 지원서에 적용하는 것과 같다. 자동 판독 도구를 도입한 조직이라면 기준선이 언제 만들어진 데이터로 세워졌는지 확인할 필요가 있다.

임상과 심리 쪽은 결이 다르다. 언어 지표로 우울이나 인지 저하의 조기 신호를 잡는 연구는 축적이 두껍고, 그 지표들은 대체로 어휘 다양도와 통사 복잡도처럼 이 논문이 균질화된다고 보고한 층에 걸쳐 있다. 환자가 스스로 작성한 텍스트를 쓰는 도구라면, 작성 과정에 AI 보조가 끼었는지 여부가 측정값을 바꾼다. 개인화와 마케팅에서도 같은 문제가 생기지만 방향이 반대다. 다수 집단의 특징이 증폭된다는 결과는, 개인화 시스템이 소수 특성을 가진 사용자를 점점 다수 쪽으로 오분류하게 된다는 뜻이 된다.

이 연구에 한국어는 없다

여기서 국내 실무자가 먼저 확인할 한계는 언어 범위다. 공개된 데이터 목록의 일곱 종은 모두 영어 코퍼스이고, 레딧과 arXiv와 Patch.com과 미 의회 속기록처럼 미국 중심의 출처가 대부분이다. 논문의 결론을 한국어 글쓰기에 그대로 옮겨 놓을 근거는 이 논문 안에 없다.

다만 옮겨 볼 값어치는 있다. 코드는 MIT 라이선스로 Zenodo에 공개돼 있고(DOI 10.5281/zenodo.21633457), 전처리와 고쳐 쓰기와 분류기 학습과 통계 분석과 그림 생성 스크립트가 모두 들어 있으며, 파이썬 3.11.7과 R 4.4.2 외에 별도 상용 소프트웨어가 필요 없다. 어휘 심프슨 지수나 유형·토큰 비율 같은 지표는 언어 중립적이지만, 평균 의존 연결 길이처럼 통사 구조에 붙는 지표는 한국어 파서를 갈아 끼워야 한다. 한국어에서는 조사와 어미가 유형·토큰 비율을 부풀리는 문제도 별도로 처리해야 한다.

가설 자체는 한국어에서 더 세게 나올 수도 있다. 한국어 학습 데이터의 절대량이 영어보다 적고 지시 조정 데이터의 문체 폭은 더 좁기 때문에, 모델이 수렴하는 목표 문체의 범위도 좁을 개연성이 있다. 그러나 이것은 이 논문이 검증한 내용이 아니라 검증을 기다리는 질문이다. 국내 언어학·심리학 연구실이 공개 코드를 한국어 코퍼스에 얹는 작업은 규모 대비 회수가 큰 후속 연구에 든다.

조심해서 읽어야 할 부분

인과 주장의 강도를 정확히 잡아야 한다. 고쳐 쓰기 실험은 원문과 고쳐 쓴 판본을 짝지은 통제된 비교이므로 인과 해석이 가능하지만, 시계열 분석은 실제 웹에서 관측된 변화이므로 챗GPT 공개가 유일한 원인이라고 말해 주지 않는다. 같은 기간에 플랫폼 정책과 검색 순위와 작성자 구성도 함께 움직였다.

AI 작성 귀속 비율도 추정값이다. 시계열에서 함께 오른 이 값은 탐지 모델의 판정에 기반하고, 기계 작성 텍스트 탐지기의 신뢰도 문제는 이 논문이 참고문헌으로 여러 편을 인용할 만큼 알려진 쟁점이다. 즉 "AI 사용이 늘었다"는 축은 관측이 아니라 추정 위에 서 있다.

쓰인 모델 세대도 짚어야 한다. 실험 대상은 GPT-3.5와 제미나이와 라마 3이고, 2026년 8월 현재 실무에서 쓰이는 모델들보다 앞선 세대다. 최신 모델이 문체 보존을 더 잘하는지 더 못하는지는 이 논문으로 답할 수 없다. 표본 크기도 갈래마다 다르다. 시계열은 코퍼스당 수만에서 수십만 건이지만 고쳐 쓰기 실험은 데이터셋당 711건에서 3,641건 사이이고, 의회 연설과 성별 항목은 710건으로 가장 작다.

마지막으로 본문 접근성에 대한 안내가 필요하다. 이 논문은 Nature Human Behaviour의 구독 콘텐츠이며, 누구나 볼 수 있는 것은 초록과 확장 데이터 그림 설명, 데이터·코드 공개 항목, 참고문헌이다. 이 글에 실린 수치는 그 공개 범위 안에서 확인한 값이고, 본문 표와 회귀 계수는 구독 또는 개별 구매가 필요하다. 자금 출처도 함께 보는 편이 낫다. 연구는 미 육군연구소(W911NF-23-2-0183)와 DARPA INCAS(HR001121C0165)와 미 공군과학연구실(A9550-23-1-0463)의 지원을 받았고, 논문은 자금 제공자가 설계와 분석과 발표 결정에 관여하지 않았다고 명시했다.

출처: Zhivar Sourati, Farzan Karimi-Malekabadi, Meltem Ozcan 외, 'The shrinking landscape of linguistic diversity in the age of large language models'(Nature Human Behaviour, 2026년 8월 24일) 기반 ASAP 정리.