수어가 처음으로 키보드 자리에 앉았습니다

말소리는 오래전부터 자동으로 받아쓰기가 됐습니다. 수어는 아니었습니다. 세계에 수어는 200가지가 넘고 쓰는 사람은 7,000만 명으로 추정되는데도요.

구글 딥마인드가 수어를 글로 옮기는 모델을 공개했습니다. 논문으로 끝나지 않고 픽셀 11 폰에 들어갑니다. 자판을 두드리던 자리에서 손짓으로 입력하게 됩니다.

방식이 눈에 걸립니다. 카메라로 찍은 영상을 서버로 보내지 않습니다. 폰 안에서 몸의 관절 위치만 점으로 뽑아내고 그 점들만 번역에 넘긴 뒤 원본 영상은 바로 지운다고 합니다.

학습에는 50가지가 넘는 수어를 10만 시간 넘게 썼습니다. 한 가지 수어만 따로 가르치는 것보다 여러 수어를 섞어 가르친 쪽이 더 잘했다고 합니다.

잘하는지는 이렇게 쟀습니다. 번역이 원래 뜻을 얼마나 담았는지 사람이 매기던 점수를 대신 매겨 주는 채점 모델이 있습니다. 0에 가까우면 엉망이고 1이면 사람이 옮긴 수준인데 여기서 0.70을 받았습니다. 이 시험을 따로 연습시키지 않고 낸 점수이고 지금까지 나온 것 중 가장 높다고 밝혔습니다.

남은 숙제를 스스로 짚은 대목이 더 인상적이었습니다. 왼손으로 수어를 하는 사람이 불리해지지 않게 하는 것. 폰을 한 손에 든 채 하는 한 손 수어. 그리고 수어가 아닌 몸짓에 엉뚱한 번역을 내놓지 않는 것입니다.

사실 저희가 먼저 떠올렸던 그림이기도 합니다. 카메라가 본 것을 AI가 도구처럼 가져다 쓰게 만들면 제일 먼저 풀고 싶은 문제가 수어라고 봤습니다. 그걸 구글이 먼저 해냈습니다.

지금은 미국 수어에서 영어로만 됩니다. 쓸 수 있는 기기와 언어는 넓혀 간다고 했습니다.