생성 이미지의 출처를 한 장으로 지목하는 일은 학습 규모가 커질수록 불가능해진다: MIT 연구진의 반사실 분석

MIT CSAIL의 정 다이(Zheng Dai)와 데이비드 기퍼드(David Gifford)는 2026년 8월 18일 네이처 커뮤니케이션스에 게재한 논문에서 확산 모델이 충분히 많은 데이터로 학습되면 생성된 이미지를 학습 데이터의 어느 한 단위에도 귀속시킬 수 없게 된다고 보고했다. 연구진은 공개 이미지 컬렉션 7종에서 256장부터 162,770장까지 크기를 달리한 학습 집합으로 확산 앙상블 24개를 훈련한 뒤, 학습 데이터에서 한 단위를 빼면 생성 결과가 얼마나 달라지는지를 재는 반사실 반지름(Counterfactual Radius)이라는 지표를 도입했다. 학습 집합 크기와 평균 반사실 반지름 사이에는 역멱법칙이 성립했고, 결정계수는 기하 거리 기준 0.85, 의미 거리 기준 0.59였다. ASAP은 이 논문이 측정한 것과 측정하지 않은 것을 나눈 뒤, 저작권과 프라이버시 논의에서 이 결과가 실제로 지지하는 주장의 범위를 짚는다.

반사실 반지름은 그 데이터가 없었다면 무엇이 달라졌을지를 직접 계산한다

논문의 출발점은 귀속을 유사도가 아니라 인과로 정의한 것이다. 연구진은 생성된 표본을 원본 표본이라고 부르고, 학습 데이터에서 한 단위를 빼고 훈련한 모델이 같은 프롬프트와 같은 가우시안 노이즈로 만들어 낸 표본을 반사실 표본이라고 부른다. 한 원본 표본에 대해 뺄 수 있는 모든 단위에서 나온 반사실 표본을 모으면 반사실 우주가 되고, 원본에서 가장 멀리 떨어진 구성원까지의 거리가 그 표본의 반사실 반지름이다. 반지름이 작다는 것은 어떤 데이터를 빼도 그림이 바뀌지 않았다는 뜻이며, 논문은 그 상태를 귀속 불가로 규정한다.

여기서 단위는 이미지 한 장으로 고정되지 않는다. 논문은 단위를 학습 데이터의 임의의 분할로 일반화해서 한 인물이 찍힌 모든 사진이나 한 화가가 그린 모든 작품을 하나의 단위로 묶는다. 저작권과 프라이버시 논의가 실제로 다루는 대상이 낱장이 아니라 창작자와 개인이라는 점을 반영한 설계다.

문제는 계산 비용이다. 단위가 N개면 반사실 우주 하나를 채우는 데 모델 N개를 새로 학습해야 한다. 연구진은 이를 우회하려고 절제(ablation)라는 기법과 확산 앙상블이라는 구조를 함께 도입했다. 여러 확산 모델을 서로 다른 학습 부분집합에 독립적으로 훈련한 뒤 예측을 산술 평균으로 합치는 구조여서, 특정 단위를 본 구성 요소만 떼어 내면 그 단위의 인과적 영향이 완전히 제거된 모델이 된다. 각 단위에 길이 n의 이진 코드워드를 배정하되 모든 코드워드의 1 개수를 같게 맞추는 방식으로, 논문은 스페르너 정리를 근거로 O(log N)개 구성 요소만 학습하면 N개의 반사실을 모두 만들 수 있다고 적었다. 재학습이 O(N)인 것과 비교하면 지수적 개선이다.

학습 집합이 커질수록 반지름은 멱법칙으로 줄어든다

핵심 결과는 24개 앙상블에서 나온 하나의 곡선이다. 연구진은 MNIST, 패션 MNIST, CIFAR-10, CIFAR-100, CelebA, MetFaces, ArtBench 7종에서 뽑은 256장에서 162,770장 사이의 부분집합으로 앙상블을 훈련하고, 각 앙상블에서 25장에서 100장을 생성해 반사실 반지름의 산술 평균을 냈다. 거리는 두 가지로 쟀다. 모든 이미지를 256×256×3으로 맞춘 뒤의 픽셀 유클리드 거리가 기하 거리이고, OpenCLIP 임베딩 거리가 의미 거리다.

두 측정 모두에서 학습 집합 크기와 평균 반지름은 역멱법칙으로 맞아떨어졌다. 결정계수는 기하 0.85, 의미 0.59였고, 일방 왈드 검정에서 두 관계 모두 p가 10의 마이너스 5제곱 미만이었다. 논문은 이 현상을 귀속 붕괴(attribution decay)라고 명명했다.

단위를 사람과 화가로 바꿔도 방향은 유지됐다. 24개 앙상블 중 16개는 이미지 한 장이 단위이고, 인물 사진으로 학습한 6개는 한 인물의 모든 사진이 단위이며, 미술 작품으로 학습한 나머지 2개는 한 화가의 모든 작품이 단위다. 가장 큰 학습 집합의 반지름 분포는 세 경우 모두 가장 작은 학습 집합의 분포보다 유의하게 작았고, 일방 만휘트니 U 검정 기준 p는 이미지 단위에서 10의 마이너스 4제곱 미만, 인물 단위에서 10의 마이너스 53제곱 미만, 화가 단위에서 10의 마이너스 22제곱 미만이었다.

절제라는 새 기법이 만들어 낸 착시가 아니라는 확인

연구진이 가장 공들인 부분은 자기 방법론에 대한 반증 시도다. 절제는 이 논문이 새로 만든 기법이므로, 관측된 감소가 실제 현상이 아니라 절제 구조의 부산물일 가능성을 배제해야 한다. 이를 위해 연구진은 MNIST에서 크기 256과 1,024인 부분집합을 잡고 각 이미지를 하나씩 뺀 모델을 전부 처음부터 다시 학습했다. 이렇게 만든 확산 모델은 반사실 1,280개와 원본 2개를 합쳐 총 1,282개이며, 각 규모에서 반사실 우주 100개를 표집한 결과 기하와 의미 반지름 모두 유의하게 감소했다(p < 10의 마이너스 4제곱).

조건을 바꾼 검증도 이어졌다. 텍스트 프롬프트로 조건화한 앙상블을 CelebA에서 712장부터 162,770장까지 학습시켰을 때 p는 10의 마이너스 21제곱 미만이었고, 클래스 라벨 10개로 조건화한 MNIST 앙상블을 256장에서 8,192장으로 키웠을 때는 10의 마이너스 13제곱 미만이었다.

가장 중요한 반론 하나는 따로 처리됐다. 학습 집합이 커지면 한 장을 뺄 때 사라지는 데이터의 비율도 함께 작아지므로, 관측된 감소가 데이터 양이 아니라 제거 비율의 축소 때문일 수 있다는 반론이다. 연구진은 MNIST를 96개 단위로 무작위 분할해 제거 비율을 고정한 조건에서 다시 실험했고, 256장에서 8,192장으로 늘렸을 때 p는 10의 마이너스 16제곱 미만이었다. 학습 반복 횟수를 맞춘 조건에서도 CelebA 10,627장 대 162,770장 비교에서 기하 기준 p가 10의 마이너스 12제곱 미만, 의미 기준이 0.002 미만이었다. LPIPS와 DINOv2를 추가 지표로 넣은 반복 분석도 같은 결론을 유지했다.

유사도로 찾은 출처는 규모가 커질수록 틀린 답을 내놓는다

실무에서 쓰이는 귀속 방법은 대부분 유사도 기반이므로, 논문은 그 방법의 정확도를 반사실로 검증했다. 판정 논리는 간명하다. 어떤 생성물을 특정 학습 데이터에 귀속시킨 판정이 옳다면, 그 데이터를 빼고 다시 생성했을 때 결과물이 여전히 같은 데이터에 귀속되어서는 안 된다. 귀속이 그대로 유지되면 애초의 판정이 틀렸다는 뜻이며, 이 비율을 보정한 값이 오귀속률(False Attribution Rate)이다.

최근접 이웃 방식으로 귀속을 수행한 결과, 더 많은 데이터로 학습한 앙상블일수록 오귀속률이 높았다. 24개 앙상블 각각에서 100개 표본으로 추정한 값에 클로퍼피어슨 95% 신뢰구간을 붙였고, 이미지 분포를 교란 요인에서 제거하기 위해 MNIST와 패션 MNIST에서 각각 62개 앙상블 계열을 따로 학습해 표본 1,024개로 다시 쟀다. 두 곡선 모두 학습 집합 크기에 대해 거의 단조적으로 상승했다. 다만 상승 속도는 달랐고, 논문은 붕괴의 구체적 양상이 이미지 분포에 따라 달라진다고 적었다.

논문이 제시한 예시가 이 차이를 압축한다. 작품 1,336점으로 학습한 모델의 생성물은 기하적으로 가장 가까운 학습 이미지인 15세기 회화 Man in Prayer에 귀속됐고, 해당 화가의 작품을 모두 빼자 생성 결과가 눈에 띄게 달라졌다. 반면 작품 50,000점으로 학습한 모델의 생성물은 18세기 회화 View of Castel Gandolfo에 귀속됐지만, 토머스 존스의 작품을 모두 빼고 다시 생성해도 이미지는 거의 그대로였다.

반지름이 정확히 0인 표본이 실제로 나왔다

연속 공간에서 반지름이 정확히 0인 표본은 확률적으로 나타나기 어렵다. 논문은 이를 확인하려고 픽셀 값을 0 또는 1로 반올림한 이진화 MNIST에서 앙상블을 학습한 뒤 표본 3,731개의 반지름을 쟀고, 그중 14개가 정확히 0이었다. 어떤 학습 데이터를 빼도 결과가 한 픽셀도 달라지지 않는 생성물이 실재한다는 뜻이다.

이 실험을 단순한 장난감 설정으로 넘기기 어려운 이유를 논문은 함께 적었다. 디지털 표본은 유한한 비트로 표현되므로 어차피 이산 공간에 존재하며, 통상적인 이미지도 약 1,700만 개의 RGB 조합에서 값을 고른다는 것이다.

이 결과가 저작권 논쟁에서 실제로 건드리는 지점

논문의 함의가 가장 날카롭게 걸리는 곳은 창작자 보호 논리의 입증 구조다. 저작권 침해를 주장하려면 통상 접근(access)과 실질적 유사성을 함께 보여야 하는데, 논문은 귀속 불가능성이 접근 요건에 대한 반박 근거로 쓰일 수 있다고 명시적으로 적었다. 충분히 큰 규모로 데이터를 수집하기만 하면 개별 창작자의 기여를 특정할 수 없게 되고, 그 결과 원작을 대체하는 상업적 생성물을 만들면서도 침해 입증을 회피하는 경로가 열린다는 지적이다.

주목할 점은 이 결론의 방향이 직관과 반대라는 것이다. 데이터를 적게 쓴 모델일수록 출처가 선명하게 남고, 많이 긁어 갈수록 흔적이 사라진다. 규모를 키우는 행위가 법적 노출을 줄이는 구조라면, 창작자 보호를 목표로 하는 규제가 오히려 대규모 수집을 장려하는 유인을 만든다. 논문은 이를 규제 설계의 고려 사항으로 제시할 뿐 해법을 내놓지는 않지만, 개별 귀속을 전제로 설계된 보상 체계나 데이터 출처 표시 의무가 기술적으로 지탱되지 않는 지점을 정확히 가리킨다.

같은 성질이 반대 방향에서는 프라이버시 보호로 작동한다. 생성된 인물 이미지가 학습에 쓰인 실제 인물과 인과적으로 독립이라면, 그 인물의 초상이 결과물에 남아 있다고 말하기 어려워진다. 인물 단위 실험에서 p가 10의 마이너스 53제곱 미만으로 가장 강한 신호가 나온 것도 이 해석과 맞물린다. 하나의 성질이 창작자에게는 불리하게, 개인에게는 유리하게 작동하는 셈이며, 두 논의를 같은 근거로 동시에 진행할 수 없다는 점이 이 논문이 정책 토론에 남기는 부담이다.

숫자를 어떻게 읽어야 하는가

인상적인 부분과 신중해야 할 부분을 나눠 볼 필요가 있다. 가장 강한 대목은 방법론 검증에 들인 비용이다. 1,282개 모델을 실제로 재학습해 절제 기법과 대조한 설계, 제거 비율과 학습 반복 횟수를 고정한 통제 조건, 지표를 유클리드와 OpenCLIP에 더해 LPIPS와 DINOv2까지 넓힌 반복 분석은 결론이 특정 선택에 기대고 있지 않다는 것을 보이기 위한 장치다. 새 기법을 도입한 논문이 자기 기법을 쓰지 않은 재현 실험을 함께 싣는 경우는 흔하지 않다.

신중하게 읽어야 할 숫자는 의미 거리 쪽 결정계수 0.59다. 기하 거리에서 0.85가 나온 것과 비교하면 설명력이 상당히 낮고, 픽셀 수준의 변화가 줄어드는 정도만큼 의미 수준의 변화가 깔끔하게 줄어들지는 않는다는 뜻이다. 방향과 유의성은 두 지표에서 모두 확인됐으므로 결론 자체는 유지되지만, 멱법칙의 정밀도를 근거로 특정 학습 규모에서의 반지름을 예측하려는 사용은 기하 지표 쪽에서만 상대적으로 안전하다.

규모의 간극도 함께 보아야 한다. 실험이 다룬 범위는 최대 162,770장이고, 논문 스스로 귀속 붕괴가 10의 4제곱과 10의 5제곱 규모에서 이미 뚜렷하다고 적으면서 상업 모델의 학습 규모를 약 10의 9제곱으로 언급했다. 즉 상업 모델에 대한 결론은 직접 측정이 아니라 추세의 외삽이다. 추세의 방향이 여러 조건에서 일관되게 확인된 만큼 외삽의 근거는 튼튼한 편이지만, 확산 앙상블이라는 특수 구조로 잰 값이라는 조건은 남는다.

남는 질문과 이 연구가 답하지 않은 것

논문이 스스로 남긴 가장 흥미로운 가설은 학습 데이터의 중복 제거가 24개 앙상블에서 관측된 귀속 붕괴를 거꾸로 되돌릴 수 있다는 것이다. 연구진은 귀속 붕괴가 일어나는 이유를 모델 동작에 중요한 특징이 학습 데이터 전반에 분산되고 중복되어 인코딩되기 때문이라고 추측한다. 이 추측이 맞다면 학습 데이터의 중복을 제거하는 처리는 암기를 줄이는 것으로 알려진 것과 반대로 귀속 가능성을 오히려 높일 수 있다. 검증되지 않은 가설이지만, 데이터셋 정제라는 통상적 실무가 법적 노출을 키우는 방향으로 작동할 수 있다는 예측이어서 실무적으로 확인할 값이 크다.

같은 논리는 적용 범위도 넓힌다. 중복성이 모델이 아니라 데이터셋의 성질이라면 귀속 붕괴는 확산 모델 밖에서도 관측될 수 있다고 논문은 적었다. 다만 이 논문이 실제로 측정한 대상은 이미지 확산 모델뿐이며, 언어 모델에서 같은 곡선이 나오는지는 답하지 않았다.

측정의 성격에서 오는 한계도 분명하다. 논문의 분석은 모델의 평균적 동작을 추적하므로, 큰 데이터로 학습한 모델이 개별적으로 귀속 가능한 표본을 내놓는 일은 여전히 가능하다. 논문은 암기 연구를 인용해 약 10의 9제곱 규모로 학습한 상용 모델도 학습 표본과 거의 동일한 이미지를 생성하는 경우가 백만 분의 일 정도의 빈도로 보고돼 있다고 적었다. 귀속이 평균적으로 불가능하다는 말과 어떤 생성물도 추적되지 않는다는 말은 다르며, 이 구분을 놓치면 논문의 결론이 실제보다 넓게 인용된다.

마지막으로 논문의 결론은 낱개 단위 귀속에 한정된다. 연구진은 자신들의 분석이 집계 수준이나 부분집합 수준의 귀속을 배제하지 않는다고 명시했다. 학습 데이터의 큰 덩어리가 결과물에 미친 영향을 재는 작업은 여전히 성립하며, 무너진 것은 생성물 한 장을 학습 이미지 한 장이나 창작자 한 명에게 연결하려는 시도다. 개별 귀속을 전제로 한 기술적 해법을 더 정교하게 다듬는 방향이 성과를 내기 어렵다는 것이 이 논문의 실질적 결론이다.

출처: 정 다이와 데이비드 K. 기퍼드의 네이처 커뮤니케이션스 논문 Outputs of generative diffusion models are often unattributable(17권 6974호, 2026년 8월 18일)과 MIT 뉴스 보도 기반 ASAP 정리