제미나이 3.5 트랜스크라이브 공개: 스트리밍 WER 4.0%, 최종 전사 지연 70% 개선, 화자 구분은 3명까지

구글은 2026년 8월 26일 음성 인식 모델 제미나이 3.5 트랜스크라이브(Gemini 3.5 Transcribe)를 공개했다. 공지에 따르면 아티피셜 애널리시스(Artificial Analysis) 측정 기준으로 평균 단어 오류율(WER)은 스트리밍 4.0%, 비스트리밍 2.6%이고 최종 전사까지 걸리는 시간은 70% 개선됐다. 다국어 벤치마크 FLEURS에서는 스트리밍 5.50%, 비스트리밍 5.04%를 기록했으며 85개 이상 언어를 자동으로 감지한다. 사전 녹음 음성에서 화자 구분은 3명까지 지원하고 3명을 넘는 경우는 실험 단계다. ASAP은 구글 공식 공지에서 확인되는 수치만으로 이 모델이 겨냥한 자리가 받아쓰기가 아니라 음성 에이전트의 입력단이라는 점을 짚는다.

같은 모델의 WER이 두 측정에서 다르게 벌어진다

공지에는 성격이 다른 두 종류의 오류율이 함께 실려 있다. 하나는 아티피셜 애널리시스가 측정한 평균 WER로 스트리밍 4.0%, 비스트리밍 2.6%다. 다른 하나는 다국어 벤치마크 FLEURS의 주요 언어와 로케일 집합에서 나온 스트리밍 5.50%, 비스트리밍 5.04%다. 구글은 FLEURS 결과에 대해 이전 모델인 처프 3(Chirp 3)보다 개선됐다고 설명했다.

두 측정을 나란히 놓으면 스트리밍이 치르는 대가가 서로 다르게 나타난다. 아티피셜 애널리시스 기준에서 스트리밍과 비스트리밍의 격차는 1.4점포인트이고, 비스트리밍 2.6%를 기준으로 하면 오류가 1.54배로 늘어난다. FLEURS에서는 같은 격차가 0.46점포인트에 그치고 배수로는 1.09배다. 실시간 처리 때문에 정확도가 얼마나 깎이는지가 어떤 음성 집합을 재느냐에 따라 크게 달라진다는 뜻이다.

이 차이는 도입 검토에서 실질적인 함의를 갖는다. 실시간 자막이나 통화 보조처럼 스트리밍이 필수인 서비스를 설계하는 팀이라면, 공지의 4.0%와 5.50% 중 어느 쪽이 자사 음성에 가까운지가 곧 품질 예상치를 가른다. 다국어 비중이 높고 억양이 다양한 트래픽일수록 FLEURS 쪽 숫자에 가까워질 것으로 보는 편이 안전하다. 벤치마크 두 개가 함께 제시됐다는 사실 자체가 하나의 대표값으로 이 모델을 요약하기 어렵다는 신호다.

'스마트 전사'는 정확도가 아니라 편집을 파는 기능이다

구글이 이번 모델의 특징으로 앞세운 것은 오류율보다 스마트 전사다. 화자가 말을 고칠 때, 예를 들어 화요일에 만나자고 했다가 곧바로 아니 수요일이라고 정정하면 모델이 최종 의도만 남긴다. 어와 음 같은 군더더기 표현은 제거하고 서식은 자동으로 맞춘다. 사용자가 제공한 맞춤 어휘에 맞춰 전문 용어와 고유한 철자를 인식하는 기능도 함께 들어갔다.

여기서 짚어야 할 지점은 이 기능이 WER이라는 지표와 목적이 어긋난다는 사실이다. 단어 오류율은 정답 전사문과 모델 출력 사이의 차이를 세는 지표이고, 발화를 그대로 옮길수록 좋은 점수가 나온다. 반면 스마트 전사는 발화를 의도적으로 바꾼다. 정정 전의 말을 지우고 군더더기를 빼는 순간, 출력은 실제로 들린 소리가 아니라 편집된 문장이 된다. 두 목표가 한 모델 안에 들어 있으니, 공지의 오류율 수치가 스마트 전사를 켠 상태에서 나온 것인지 끈 상태에서 나온 것인지가 해석을 크게 좌우한다. 공지는 이 조건을 밝히지 않는다.

용도에 따라 이 기능의 성격은 정반대로 바뀐다. 회의 메모나 음성 입력처럼 결과물이 읽히기 위한 텍스트라면 편집은 순수한 이득이다. 그러나 원발화 보존이 요구되는 영역, 예컨대 상담 기록이나 진술 정리, 규제 대응 로그에서는 모델이 알아서 지운 말이 곧 소실된 증거가 된다. 도입하는 쪽에서 먼저 결정할 것은 정확도 목표치가 아니라 우리 기록이 소리의 사본이어야 하는가 아니면 뜻의 요약이어야 하는가다.

파트너 목록이 이 모델의 실제 배치 위치를 말한다

공지가 나열한 개발자 파트너는 아고라(Agora), 피시잼(Fishjam), 랭체인(LangChain), 라이브키트(LiveKit), 파이프캣(Pipecat), 버셀(Vercel), 비전 에이전츠(Vision Agents)다. 초기 피드백을 제공한 기업으로는 비보(Vivo), 인텔리텍 헬스(Intellitek Health), 링고팔(Lingopal), 스트림(Stream)이 언급됐다.

이 명단의 성격은 한쪽으로 쏠려 있다. 라이브키트와 아고라와 파이프캣은 실시간 음성 스트리밍과 음성 에이전트 파이프라인을 만드는 쪽이고, 랭체인은 에이전트 오케스트레이션, 버셀은 애플리케이션 배포다. 받아쓰기 서비스나 자막 제작사, 미디어 아카이브 사업자는 눈에 띄지 않는다. 구글이 이 모델을 녹음 파일을 텍스트로 바꾸는 도구가 아니라 사람이 말하면 에이전트가 반응하는 구조의 첫 단계로 배치했다는 뜻으로 읽힌다.

기능 구성도 같은 방향을 가리킨다. 함수 호출을 지원해 이미지 생성이나 파일 분석 같은 복잡한 작업을 다른 제미나이 모델에 넘길 수 있고, 이 기능은 현재 맥용 제미나이 앱에서 제공된다. 소음이 있는 실제 환경에서 우편번호나 주문 번호 같은 영숫자 항목을 정확히 잡아낸다는 설명도 마찬가지다. 우편번호와 주문 번호는 회의록에서 중요한 단어가 아니라 콜센터와 주문 처리 흐름에서 곧바로 다음 동작의 인자로 쓰이는 값이다. 최종 전사 지연 70% 개선이 오류율 개선보다 먼저 강조된 이유도 여기에 있다. 대화형 음성 에이전트에서 체감 품질을 결정하는 것은 마지막 단어가 확정되기까지의 대기 시간이다.

화자 3명이라는 상한이 회의록 시장에서 갖는 뜻

사전 녹음 음성에서 화자 구분은 타임스탬프와 함께 최대 3명까지 지원되고, 3명을 넘는 경우는 실험 단계라고 공지에 적혀 있다. 타임스탬프는 단어 단위로 붙는다.

3이라는 숫자는 용도를 꽤 선명하게 가른다. 1대1 상담 통화, 고객과 상담원의 대화, 인터뷰 진행자와 응답자 구성은 이 상한 안에 들어온다. 반대로 팀 회의나 세미나, 다자 협상처럼 참석자가 네 명을 넘어가는 자리는 상한 밖이다. 회의록 자동화를 기대하고 이 모델을 보는 팀이라면 가장 먼저 확인할 항목이 정확도가 아니라 이 상한이다.

앞 절에서 짚은 파트너 구성과 함께 놓으면 이 제한은 누락이라기보다 선택으로 보인다. 콜센터와 음성 에이전트가 주 무대라면 화자는 대개 둘이고 많아야 셋이다. 다자 회의록은 별개의 기술 과제이며 지금 이 모델이 겨냥한 시장이 아니라는 신호로 읽는 편이 실무적이다. 세 명을 넘는 지원이 실험 단계라고 명시된 이상, 다자 회의 용도로 검토하는 조직은 공지의 오류율을 자사 예상치로 쓰지 말고 실제 녹음으로 직접 재봐야 한다.

한국어로 쓰려는 팀이 먼저 확인할 세 가지

제미나이 3.5 트랜스크라이브의 접근 경로는 실시간과 사전 녹음이라는 용도에 따라 서로 다른 두 개의 API와 모델 이름으로 나뉜다. 실시간 스트리밍은 라이브 API에서 gemini-3.5-transcribe-live 모델로, 사전 녹음 음성은 인터랙션스 API에서 gemini-3.5-transcribe 모델로 호출한다. 구글 AI 스튜디오의 제미나이 API와 제미나이 엔터프라이즈 에이전트 플랫폼에서 공개 미리보기로 제공되며, 개발자는 구글 안티그래비티에서도 쓸 수 있다. 일반 사용자용으로는 안드로이드 지보드(Gboard)의 램블러(Rambler) 기능과 맥용 제미나이 앱에서 만난다. 크롬과 고객 경험용 제미나이 엔터프라이즈는 준비 중이다.

한국 팀이 확인할 첫 번째는 램블러의 제공 범위다. 구글은 램블러를 일부 국가와 언어에서 제공한다고만 적었고 대상 목록을 나열하지 않았다. 한국어 지원 여부는 공지로 확정할 수 없으므로 기기에서의 실제 표시를 따라야 한다. 두 번째는 코드 스위칭이다. 공지는 라이브 언어 전환을 지원한다고 밝혔는데, 한국어 발화에 영어 기술 용어와 제품명이 섞이는 국내 업무 대화는 이 기능이 실제로 잘 듣는지 판별하기에 좋은 시험대다. 세 번째는 맞춤 어휘다. 사명과 인명, 서비스명처럼 한국어 고유명사는 표준 음성 모델이 가장 자주 틀리는 구간이고, 맞춤 어휘 기능이 이 구간을 얼마나 메우는지가 도입 여부를 가르는 실질 기준이 된다.

세 항목 모두 공지의 숫자로는 답이 나오지 않는다는 점이 공통점이다. FLEURS는 주요 언어와 로케일 집합에서 잰 값이고 언어별 분해는 공개되지 않았으므로, 한국어 성능을 85개 언어 평균으로 갈음하지 말고 자사 음성 100건 정도로 직접 재는 것이 빠르다.

공지가 답하지 않은 것: 가격, 언어별 성능, 비교 기준

구글의 제미나이 3.5 트랜스크라이브 공지에서 확인되지 않는 항목은 가격과 언어별 성능 분해와 비교 기준 세 가지다. 첫째는 가격이다. 공개 미리보기 단계라는 설명은 있지만 오디오 분당 또는 토큰당 단가는 제시되지 않았다. 음성 워크로드는 통화량에 비례해 선형으로 늘어나므로, 단가가 나오기 전까지는 파일럿 결과를 그대로 운영 예산으로 옮길 수 없다.

둘째는 언어별 성능 분해다. 85개 이상 언어를 지원한다는 서술과 FLEURS의 주요 언어와 로케일 집합이라는 조건은 함께 읽어야 한다. 평균값 하나로 85개 언어의 품질이 균질하다고 보기는 어렵고, 어느 언어가 평균을 끌어올렸는지는 공지로 알 수 없다.

셋째는 비교 기준이다. 최종 전사까지의 시간이 70% 개선됐다는 문장은 아티피셜 애널리시스 측정이라고 밝히지만 무엇 대비인지를 그 문장 안에서 특정하지 않는다. FLEURS 결과에 대해서는 처프 3보다 개선됐다는 설명이 붙어 있으나, 처프 3의 WER 수치 자체는 표로 제시되지 않았다. 타사 음성 모델과의 비교도 공지에 없다. 이 모델의 상대적 위치를 알고 싶은 조직에게는 공지를 읽는 것으로 끝나지 않고 같은 음성 파일을 여러 모델에 통과시켜 보는 단계가 그대로 남아 있다.

출처: 구글 공식 블로그 제미나이 3.5 트랜스크라이브 공개 공지(2026년 8월 26일), 구글 딥마인드 블로그 동일 공지 기반 ASAP 정리