구글 딥마인드 이중맹검 평가 첫 시연: 제미나이 2.5 플래시 라이트를 H100 엔클레이브에서 비공개 벤치마크로 측정, 연산 오버헤드 5% 미만

구글 딥마인드는 2026년 8월 27일 독점 프런티어급 모델을 대상으로 한 세계 최초의 이중맹검 평가(Double-Blind Evaluation) 파일럿을 공개했다. 기술 보고서에 따르면 평가 대상은 제미나이 2.5 플래시 라이트이고, 측정은 구글 클라우드 컨피덴셜 스페이스의 a3-highgpu-1g 인스턴스에서 인텔 TDX 호스트 메모리 암호화와 엔비디아 H100 80GB 컨피덴셜 GPU로 이뤄졌으며 연산 오버헤드는 5% 미만이다. 참여 기관은 싱가포르 AI 세이프티 인스티튜트, 오픈마인드(OpenMined), AVERI, MLCommons 네 곳이다. ASAP은 이 파일럿이 벤치마크 점수가 아니라 평가라는 절차 자체를 산출물로 내놓았다는 점을 짚는다.

벤치마크 오염은 이미 측정된 문제다

기술 보고서가 문제 제기의 근거로 인용한 선행 연구는 세 편이고 모두 구체적인 수치를 가지고 있다. 싱 외(Singh et al., 2025)의 '리더보드 일루전'은 한 프런티어 연구소가 챗봇 아레나에서 비공개 모델 변형 27종을 시험한 뒤 그중 최고 점수를 낸 하나만 공개한 사례를 보고했다. 쉬 외(Xu et al., 2024)는 시험한 31개 모델 가운데 약 절반에서 사전 훈련과 사후 훈련 양쪽에 벤치마크 데이터가 새어 들어간 강한 증거를 확인했다. 셰퍼 외(Schaeffer et al., 2026)는 테스트셋 오염이 측정 성능을 부풀리며 그 부풀림이 오염량과 모델 크기에 비례해 커진다는 점을 정량화했다.

세 연구를 나란히 놓으면 오염이 두 갈래라는 사실이 드러난다. 하나는 의도적인 벤치마크 해킹이고, 다른 하나는 훈련 데이터에 시험 문항이 섞여 들어가는 우발적 유출이다. 계약과 무기록(zero-logging) 정책은 앞쪽에는 어느 정도 통하지만 뒤쪽에는 구조적으로 약하다. 다음 사전 훈련 코퍼스를 긁어모으는 과정에서 과거 평가 프롬프트가 섞여 들어갔는지를 사후에 증명할 방법이 계약서에는 없기 때문이다. 이번 보고서가 신뢰와 계약만으로는 풀 수 없는 문제라고 못 박은 이유가 여기에 있다.

주목할 대목은 오염 논의가 신뢰의 문제에서 측정의 문제로 옮겨 갔다는 점이다. 2024년까지 벤치마크 오염은 대체로 의심과 정황의 영역이었으나, 인용된 세 연구는 모델 수와 오염 비율과 점수 부풀림의 크기를 각각 숫자로 제시한다. 문제가 숫자로 표현되는 순간 해법도 숫자로 평가받게 되고, 그래서 이번 파일럿의 5% 미만이라는 오버헤드 수치가 안전 담론이 아니라 공학 담론의 자리에 놓인다.

양쪽 모두 눈을 가리는 절차는 일곱 단계로 짜였다

이중맹검 평가의 핵심 장치는 하드웨어 엔클레이브다. 인텔 TDX나 AMD SEV-SNP 같은 칩은 제조 시점에 심어진 비밀값에서 개인키를 유도하고, 이 키가 신뢰 루트가 된다. 엔클레이브는 부팅할 때마다 별도의 임시 메모리 암호화 키를 만들어 램에 올라가는 모든 데이터를 자동으로 암호화한다. 클라우드 사업자가 물리적으로 램이나 디스크를 뜯어봐도 평문을 얻을 수 없고, 엔클레이브는 자신이 돌리는 소프트웨어의 서명된 해시를 외부에 내보내 무엇을 실행 중인지 증명한다.

보고서는 신뢰 컴퓨팅 기반(TCB)을 세 가지 장치로 고정한다. 첫째는 측정으로, TCB의 각 계층이 적재될 때 해시로 기록되고 그 값이 CPU 벤더 하드웨어 신뢰 루트에 뿌리를 둔 키로 서명된 어테스테이션 보고서에 담긴다. 둘째는 재현 가능한 빌드로, 각 계층을 공개 소스에서 결정적으로 빌드해 제3자가 다시 만들어도 비트 단위로 같은 산출물이 나오게 한다. 셋째는 검증으로, 각 참여자가 데이터를 넣기 전에 벤더 서명 체인과 사용자가 제공한 논스 결합 여부와 기대 측정값 일치 여부를 스스로 확인한다. 중앙 검증 서비스나 상대방의 판정을 믿을 필요가 없다는 설계다.

여기까지는 클라우드 사업자로부터의 보호이고, 평가자와 모델 소유자 사이의 상호 비밀은 한 단계가 더 필요하다. 양쪽 모두 코드를 제출해야 하는데 추론 코드와 평가 코드에는 각자의 영업비밀이 들어 있기 때문이다. 보고서가 제시한 우회로는 코드를 잘게 쪼개면 어느 지점부터는 독점 지식이 남지 않는다는 관찰이다. 제이엑스(JAX)나 파이토치 같은 오픈소스 프레임워크의 메서드 호출로만 구성된 코드는, 그 메서드들이 네트워크로 데이터를 내보내지 않는다는 사실만 확인하면 내용을 감춘 채로도 안전성을 보장할 수 있다. 오픈마인드의 파이시프트(PySyft)가 코드 제출과 승인을 중개하고, syft-restrict가 가려진 부분이 허용목록에 오른 비네트워크 메서드만 호출한다는 점을 검증한다.

실제 절차는 일곱 단계다. 양측이 협업 의사를 확인하고, 한쪽이 엔클레이브를 띄우고, 양측이 서명된 해시를 받아 확인하고, 필요하면 모의 인터페이스로 상대 코드에 맞춰 개발하고, 각자 가려진 코드와 자산을 올리고, 서로의 가려진 코드를 검토해 승인하고, 양측 승인이 모이면 실행돼 결과가 반환된다. 엔클레이브를 띄운 쪽이 갖는 유일한 추가 권한은 엔클레이브를 끌 수 있다는 것뿐이다.

이번 파일럿이 끝내 공개하지 않은 숫자는 제미나이의 점수다

기술 보고서에는 제미나이 2.5 플래시 라이트가 AILuminate에서 몇 점을 받았는지가 없다. 실험 설정은 상세하다. 프롬프트는 어떤 모델도 처리한 적 없는 AILuminate 리저브 세트에서 뽑았고, 위험 영역은 화학·생물·방사능·핵·폭발물(CBRNE)과 사이버 공격, 혐오 표현, 자해, 폭력 범죄 유도를 포괄한다. 프롬프트와 출력의 암복호화는 AVERI가 맡았고 출력 평가도 AVERI 인력이 수행했다. 그런데 결과 표가 없다.

이 공백은 누락이 아니라 이번 산출물의 성격을 말해 준다. 발표된 것은 제미나이의 안전성에 대한 주장이 아니라 평가를 수행하는 방식에 대한 주장이다. 보고서 스스로 이 작업의 성패를 하드웨어 성능이 아니라 서로 다른 조직들이 자기 자산을 이 구조에 맡길 만큼 신뢰하느냐에 달렸다고 적었다. 점수를 내지 않았기 때문에 이번 파일럿은 마케팅 자료로 소비되기 어렵고, 대신 다음 평가부터 쓸 수 있는 배관으로 남는다.

읽는 쪽에서 조심할 지점도 같은 자리에 있다. 이중맹검이 보장하는 것은 시험 문항이 새지 않았다는 사실이지 모델이 안전하다는 사실이 아니다. 오염되지 않은 평가라도 벤치마크 설계가 부실하면 결과는 여전히 부실하다. AILuminate의 위험 분류와 위반 판정 기준은 MLCommons AI 리스크 앤 릴라이어빌리티(AIRR) 워킹 그룹에서 만들어졌고 AVERI 관계자도 참여했다고 보고서에 적혀 있는데, 이 기준 자체의 타당성은 암호학이 답해 주지 않는 별개의 문제다. 참고로 보고서는 초록에서 AILuminate 코퍼스를 AIRR 1.0으로, 실험 설정 절에서는 AIRR 1.4로 표기해 판본이 엇갈린다.

병목은 하드웨어가 아니라 법무와 코드 리뷰였다

성능 측면의 결론은 간명하다. 파이시프트 데이터사이트 구조를 GCP 컨피덴셜 스페이스의 2단 하드웨어 엔클레이브 계층에서 돌렸을 때 연산 오버헤드는 5% 미만이었다. 보고서는 이 수치를 근거로, 안전한 이중맹검 평가의 주된 병목은 더 이상 하드웨어 연산 오버헤드가 아니며 법적 합의와 코드 리뷰에 필요한 절차적 부담과 인간 조율이라고 명시했다.

기술 비용이 5% 미만인데 채택이 어렵다는 진술은 이 분야의 판단 기준을 바꾼다. 지금까지 외부 평가가 제한적이었던 이유를 성능 문제로 설명해 온 논리는 이 수치 앞에서 힘을 잃는다. 남은 장애물은 계약 협상과 상호 코드 검토라는 사람의 일이고, 이는 예산과 인력과 표준화의 문제이지 반도체의 문제가 아니다.

보고서가 제시한 장기 목표가 이 진단과 정확히 맞물린다. 복잡한 의존성 해시와 키를 추상화해 인간 개입을 0에 가깝게 줄인 표준 어테스테이션 파이프라인, 비유하자면 웹 브라우저 주소창의 HTTPS 자물쇠 아이콘에 해당하는 것을 산업 전체가 갖는 것이다. 자물쇠 아이콘의 요점은 암호학이 어렵지 않다는 데 있지 않고, 아무도 암호학을 몰라도 상태를 즉시 판독할 수 있다는 데 있다. 지금의 이중맹검 평가는 그 반대편, 즉 양측 엔지니어와 법무가 몇 주씩 붙어야 한 번 돌아가는 단계에 있다.

보고서가 스스로 적어 둔 세 가지 구멍

한계를 자기 문서에 적어 둔 대목이 이번 보고서에서 가장 실무적으로 유용한 부분이다. 첫째, 제미나이 2.5 플래시 라이트를 오픈소스 라이브러리 계층만으로 구동하는 일이 이번 프로젝트가 감당하기에 너무 큰 공학 과제로 판단됐고, 그 결과 독점 메서드 구현 일부는 검사되지도 허용목록에 오르지도 못했다. AVERI는 이 사실을 통지받고 전체 설정을 수용했다. 앞 절에서 설명한 허용목록 검증이라는 핵심 장치가 이번 실행에서는 완전히 적용되지 않았다는 뜻이다.

둘째, 컨피덴셜 스페이스 게스트 OS는 참조값이 공개되고 소스가 열려 있으며 빌드 파이프라인이 외부 검증을 받지만, 개별 빌드는 비공개 서명 키를 입력으로 받기 때문에 독립적으로 재현되지 않는다. 재현 가능한 빌드는 측정값을 의미 있게 만드는 장치인데, 이 계층에서는 그 고리가 끊겨 있다. 셋째, 어테스테이션 보고서의 서명과 검증에 구글 서비스를 의존하므로 구글이 검증 경로 안에 남고 그만큼 구글에 두는 신뢰가 커진다.

세 항목을 합치면 이번 파일럿의 정확한 위치가 나온다. 완성된 무신뢰 시스템이 아니라, 신뢰해야 할 대상을 계약 상대방에서 하드웨어 벤더와 클라우드 사업자로 옮긴 중간 단계다. 보고서 본문도 엔클레이브의 보장이 클라우드 사업자와 하드웨어 제조사가 담합하지 않는다는 가정 위에 서 있다고 밝힌다. 신뢰가 사라진 것이 아니라 이동했고, 옮겨 간 곳이 담합 유인이 더 작은 자리라는 것이 이 설계의 논거다. 이 논거를 받아들일지는 조직마다 다르게 판단할 수 있고, 특히 평가 주체가 정부 기관일 때는 미국 클라우드와 미국 반도체 벤더를 신뢰 루트로 삼는 구조 자체가 검토 대상이 된다.

한국 기관이 이 파일럿에서 실제로 읽을 것

이번 파일럿에서 싱가포르 AI 세이프티 인스티튜트가 맡은 역할은 한국 기관에 가장 직접적인 참고점이다. 싱가포르 AISI는 싱가포르 맥락에서의 유해 콘텐츠 유도에 초점을 맞춘 비공개 프롬프트 세트로 제미나이 2.5 플래시 라이트를 평가했다. 자국 언어와 사회 맥락에 특화된 평가 문항은 만들기도 어렵고 한 번 노출되면 재사용 가치가 급격히 떨어지는 자산인데, 이 구조는 그 자산을 모델 소유자에게 넘기지 않고도 프런티어 모델에 적용할 길을 연다.

한국어 안전성 평가는 정확히 이 성격의 자산이다. 국내 맥락의 혐오 표현, 한국어 특유의 우회 표현, 국내 법제와 얽힌 위험 시나리오는 영어 벤치마크로 대체되지 않는다. 그런 문항 세트를 만들어 놓고도 해외 모델 사업자의 API에 평문으로 흘려 넣으면 다음 학습 주기에 대비하기 어렵다는 것이 그동안의 딜레마였다. 이중맹검 구조가 표준화되면 평가 문항을 공개하지 않은 채로도 외부 검증을 수행할 수 있고, 이는 국내 평가 기관이 만든 문항의 수명을 길게 만든다.

다만 이번 파일럿의 실행 조건을 그대로 옮겨 오기는 어렵다. 평가 대상은 제미나이 계열 중 소형 모델인 플래시 라이트였고 단일 노드 H100 한 장으로 수행됐다. 보고서는 프런티어 모델이 조 단위 파라미터를 넘어서고 있어 다음 단계는 다중 노드 H100 및 B200 클러스터로의 확장이며, 내부 아키텍처를 가리는 지연 실행 프레임워크가 함께 필요하다고 적었다. 즉 오늘 시연된 것은 대형 모델을 이 방식으로 잴 수 있다는 증명이 아니라 소형 모델에서 절차가 성립한다는 증명이다. 국내에서 이 방식을 요구하는 정책 논의를 시작하려는 쪽이라면, 확장성 검증이 남아 있다는 조건을 함께 명시하는 편이 정확하다.

출처: 구글 딥마인드 블로그 이중맹검 평가 파일럿 공지(2026년 8월 27일), 기술 보고서 Double Blind Evals: Resolving the Dual Confidentiality Dilemma in AI Safety Auditing(AVERI·구글·싱가포르 AISI·오픈마인드·MLCommons) 기반 ASAP 정리