구글 딥마인드 SL2T가 수어를 바로 문자로 옮긴다: FLEURS-ASL 제로샷 70 BLEURT와 좌표만 보내는 구조

구글 딥마인드는 2026년 8월 12일 수어를 문자로 번역하는 모델 SL2T를 공개하고 픽셀 11의 지보드와 라이브 트랜스크라이브에 추가 비용 없이 탑재했다고 밝혔다. 학습 데이터는 50개가 넘는 수어에 걸친 10만 시간 이상이며 이 가운데 약 4분의 1이 미국수어(ASL)다. 성능은 FLEURS-ASL 벤치마크에서 제로샷 70 BLEURT로, 딥마인드는 이전에 보고된 어떤 점수보다 크게 높다고 설명했다. 구조에서 가장 눈에 띄는 선택은 카메라 영상을 그대로 다루지 않고 기기 안에서 뽑아낸 자세 랜드마크 좌표열만 다룬다는 점이다. ASAP은 구글 딥마인드 공식 블로그를 1차 출처로 이 모델이 무엇을 바꾸고 어디까지 왔는지를 정리한다.

카메라 영상 대신 좌표열만 서버로 올라간다

SL2T는 수어를 원본 카메라 영상이 아니라 자세 랜드마크 위치의 연속으로 인식하며, 딥마인드는 이를 사용자 프라이버시 보호를 위한 설계라고 밝혔다. 기기와 서버 사이에서 무엇이 오가는지가 이 발표의 핵심 구조다.

처리 순서는 두 단계로 나뉜다. 먼저 기기 안에서 미디어파이프 홀리스틱 모델이 몸의 자세를 추적한다. 이 단계에서 얼굴과 손과 상체의 위치가 기하학적 좌표로 바뀌고, 원본 영상은 즉시 폐기된다. 서버로 전송되는 것은 좌표뿐이며, SL2T는 그 좌표열을 받아 문자로 옮긴다.

탑재된 기능은 입력과 대화 두 방향이다. 지보드에서는 수어로 문자를 입력할 수 있어 메시지 작성과 웹 검색과 문서 작성에 쓸 수 있고, 제미나이에 질문이나 작업을 전달하는 데도 쓸 수 있다. 라이브 트랜스크라이브에서는 대화 중 수어로 답하는 쪽을 지원한다. 픽셀 11에서 추가 비용 없이 제공되며, 첫 출시 언어 조합은 미국수어에서 영어로 옮기는 방향이다.

글로스를 건너뛴 것이 이 모델의 기술적 분기점이다

SL2T는 이전 연구가 중간 단계로 쓰던 글로스 표기를 거치지 않고 좌표열을 문자로 직접 옮기며, 딥마인드는 이 선택 덕분에 비수지 표지와 공간 구성 같은 수어의 복잡한 요소를 담을 수 있다고 설명했다. 수어 번역 연구의 오랜 관행 하나가 여기서 빠진다.

글로스는 수어의 각 동작에 대응하는 단어를 적어 두는 표기법으로, 수어를 문자로 옮기는 연구에서 오랫동안 중간 표현으로 쓰였다. 영상에서 글로스를 뽑고 글로스에서 문장을 만드는 두 단계 구조는 각 단계를 따로 학습시킬 수 있다는 실용적 장점이 있다.

문제는 글로스가 담지 못하는 정보가 있다는 점이다. 딥마인드가 든 예가 비수지 표지와 공간 구성이다. 수어에서 눈썹 위치나 시선 방향이나 몸의 기울기는 문법 기능을 하고, 화자가 공간의 특정 지점에 대상을 배치한 뒤 그 지점을 가리켜 지시하는 방식도 문법의 일부다. 동작마다 하나의 단어를 대응시키는 표기는 이런 층위를 표현할 자리가 없다.

이 관점에서 보면 중간 표현을 지우는 선택은 흔한 방향의 반복이다. 음성 인식과 기계 번역이 지나온 길에서 반복적으로 확인된 것은, 사람이 설계한 중간 표현이 다음 단계로 갈 정보의 상한을 정해 버린다는 점이다. 좌표열에서 문장까지 한 번에 학습하면 중간 표기가 버리던 신호가 그대로 남는다. 다만 이 구조는 대가도 함께 온다. 중간 산출물이 없으므로 번역이 틀렸을 때 어느 단계에서 어긋났는지 짚어내기 어렵고, 사용자가 결과를 고칠 지점도 문장 단위로만 남는다.

FLEURS-ASL 70 BLEURT라는 점수를 어떻게 읽을까

FLEURS-ASL에서 기록한 제로샷 70 BLEURT는 이 발표에서 유일하게 공개된 성능 수치이며, 여기 붙은 두 단어를 함께 봐야 크기를 가늠할 수 있다. 제로샷과 BLEURT다.

제로샷이라는 조건이 먼저다. 해당 벤치마크의 학습 데이터에 맞춰 따로 조정하지 않고 잰 점수라는 뜻이므로, 벤치마크에 특화된 미세조정 점수와 나란히 놓고 비교하면 SL2T 쪽이 불리한 조건에서 잰 값이 된다. 딥마인드가 이전에 보고된 어떤 점수보다 크게 높다고 표현한 것도 이 조건을 감안하면 무게가 다르다.

BLEURT라는 지표의 성격도 짚어 둘 필요가 있다. 단어가 얼마나 겹치는지를 세는 방식이 아니라 학습된 모델로 의미 유사도를 추정하는 지표이므로, 표현이 달라도 뜻이 통하면 점수를 받는다. 수어처럼 어순과 문법 구조가 음성언어와 다른 언어를 옮길 때 단어 중첩 기반 지표보다 실제 전달 여부에 가깝게 반응한다는 점에서 선택 자체가 합리적이다. 다만 절대 점수 70이 사용자 체감으로 어느 정도인지는 이 수치만으로 환산되지 않는다. 의미 유사도 지표의 점수는 만점까지의 거리와 실사용 만족도가 선형으로 대응하지 않는다.

수치가 하나뿐이라는 사실도 함께 봐야 한다. 공개된 것은 미국수어에서 영어로 옮기는 방향의 점수 하나이며, 학습에 쓰인 50개 넘는 수어 가운데 나머지 언어의 성능은 제시되지 않았다. 데이터의 약 4분의 1이 미국수어라는 서술을 뒤집으면 나머지 50여 개 수어가 남은 4분의 3을 나눠 갖는다는 뜻이고, 언어당 데이터 양은 미국수어와 크게 차이 난다고 보는 편이 자연스럽다. 다국어 공동 학습이 언어와 방언과 숙련도를 가로지르는 공통 구조를 익히게 돕는다는 설명이 있지만, 그 효과가 개별 언어에서 얼마나 나오는지는 공개되지 않았다.

남은 오류 목록이 이 발표에서 가장 정직한 대목이다

딥마인드는 희귀한 수어와 빠른 지문자와 수동태 구문과 분류사 묘사와 문맥 없는 시제에서 오류가 남는다고 명시했으며, 이 목록은 마케팅 문구가 아니라 사용 조건을 알려주는 정보다. 나열된 다섯 항목은 성격이 제각기 다르다.

빠른 지문자는 데이터와 해상도의 문제에 가깝다. 지문자는 손 모양을 빠르게 바꿔 철자를 표현하는 방식이므로 고유명사나 신조어가 오갈 때 집중적으로 쓰이며, 자세 좌표만 다루는 구조에서는 손가락 관절의 미세한 차이가 곧 정확도가 된다. 원본 영상을 버리고 좌표만 쓰는 프라이버시 설계가 이 지점에서는 정보량을 줄이는 방향으로 작용할 여지가 있다.

분류사 묘사와 공간 구성은 성격이 다르다. 손 모양으로 대상의 범주를 나타내고 그것을 공간에서 움직여 관계를 서술하는 방식은 대응하는 단어가 정해져 있지 않고 맥락에 따라 해석이 달라진다. 문맥 없는 시제도 같은 계열이다. 수어에서 시간 정보는 문장마다 반복해 표시되기보다 대화 초반에 한 번 제시되고 이후 유지되는 경우가 있으므로, 문장 단위로 잘라 번역하는 구조는 원리적으로 이 정보를 놓칠 수 있다.

이 구분이 실무에서 중요한 이유는 개선 속도가 다르기 때문이다. 데이터로 메워지는 오류와 문장 경계를 넘는 맥락 유지가 필요한 오류는 같은 속도로 줄지 않는다. 딥마인드가 세계 여러 농인 단체와 전문가로 구성한 AI 수어 자문위원회(AISLAC)를 만들고 능력과 한계를 함께 담은 공동 영향 보고서를 공동 저술했다고 밝힌 것도 이 차이를 사용자에게 미리 알리는 절차로 읽힌다.

한국의 수어 사용자에게 지금 확인 가능한 것과 아닌 것

한국수어가 SL2T의 학습에 포함됐는지는 공개된 발표문에서 확인되지 않으며, 명시된 것은 50개가 넘는 수어로 학습했다는 서술과 첫 출시가 미국수어에서 영어 방향이라는 사실뿐이다. 국내 상황에 대입할 때 이 경계를 넘지 않는 것이 중요하다.

지금 확인 가능한 것은 기술 구조가 언어 확장을 전제로 설계됐다는 점이다. 다국어 공동 학습으로 여러 수어를 함께 배우게 하고 글로스라는 언어별 표기 체계를 거치지 않는 구조는, 새 언어를 붙일 때 그 언어 전용 표기 규칙을 만들 필요가 없다는 뜻이다. 딥마인드도 추가 수어로의 확장을 향후 계획에 넣었다.

확인되지 않은 것은 그 확장의 순서와 시점이다. 한국수어는 한국의 공식 언어 가운데 하나이며 국내 서비스에서 접근성 요건을 다루는 팀이라면 이 발표를 근거로 도입 일정을 세우기는 이르다. 지금 시점에 할 수 있는 판단은 수어 입력이 자판과 같은 층위의 입력 수단으로 운영체제 안에 들어오기 시작했다는 방향성 정도다. 실제 지원 여부는 별도 발표를 기다려야 한다.

남는 질문: 지연 시간, 온디바이스의 경계, 생성 방향

공개되지 않은 첫 번째 항목은 지연 시간이며, 문자 입력 수단으로 쓰이는 기능에서 이 값은 성능 지표 못지않게 사용성을 좌우한다. 자세 추출은 기기에서 이뤄지지만 번역은 좌표를 서버로 보내 처리하는 구조이므로 네트워크 왕복이 개입한다. 발표문에는 응답 시간이나 오프라인 동작 가능 여부에 대한 서술이 없다.

두 번째는 온디바이스의 경계다. 원본 영상을 기기에서 버리고 좌표만 보낸다는 설계는 카메라 영상 자체가 서버로 가지 않는다는 점에서 분명한 개선이다. 다만 좌표열도 개인의 신체 움직임 정보이며 발화 내용을 담고 있다. 이 좌표가 서버에서 얼마나 보관되는지, 모델 개선에 쓰이는지에 대한 설명은 공개된 글에 없다. 프라이버시 설계의 성격을 판단하려면 전송 대상뿐 아니라 보관 정책까지 나와야 한다.

세 번째는 반대 방향이다. 딥마인드는 향후 계획에 수어 생성을 넣었는데, 문자를 수어로 옮기는 작업은 번역과 대칭이 아니다. 문자에서 수어로 가려면 손과 표정과 몸의 움직임을 시간 축 위에서 만들어 내야 하고, 여기서는 자세 좌표만으로 충분하지 않은 요소가 곧바로 문제가 된다. 지금 공개된 것은 한쪽 방향이며, 농인과 청인 사이의 양방향 소통이 기기 안에서 완결되려면 아직 한 축이 비어 있다.

출처: 구글 딥마인드 공식 블로그 "Putting sign language AI into users' hands"(2026년 8월 12일) 기반 ASAP 정리