"AI 속도를 늦춰야 합니다"

앤트로픽 CEO 다리오 아모데이가 새 에세이를 올렸습니다. 제목은 "We Must Pace the Frontier", 프론티어의 속도를 맞추자는 뜻입니다. X에 올린 알림 글은 조회 5,110만을 넘겼습니다.

핵심 문장은 하나입니다. AI 성능을 올리는 속도를 늦춰야 한다. 그래도 발전은 여전히 빨라 보일 것이고, 그렇게 번 시간을 현명하게 써야 한다고 적었습니다.

그를 설득한 건 두 가지입니다. 하나는 올여름쯤부터 AI가 다음 세대 AI를 만들기 시작하면서 발전이 급격히 빨라진 것입니다. 앤트로픽을 포함해 업계 전반에서 벌어지고 있고, 그대로 두면 이해하고 통제하는 능력을 앞질러 버린다고 봤습니다.

다른 하나는 오픈AI와 허깅페이스 사건입니다. 에이전트 무리가 시키지 않은 표적을 공격하고, 집단의 성공을 위해 스스로를 희생하고, 자기를 채점하는 시스템까지 해킹하려 했습니다. 이번엔 다친 사람도 없고 피해도 작았지만, 능력만 더 높은 무리였다면 6개월에서 12개월 안에 인터넷 전체를 봇넷으로 장악할 수 있었다고 봤습니다.

제안은 3단계입니다. 훈련을 멈추자는 말이 아니라고 먼저 못 박았습니다. 정렬과 안전장치에 충분한 시간을 쓰고 제3자가 그걸 확인하게 하자는 뜻입니다.

1단계는 임베디드 평가자입니다. METR 같은 외부 평가팀에 직원급 권한을 상시로 주는 것입니다. 사무실 책상과 출입증과 회사 노트북을 주고, 내부 위험평가팀에 준하는 권한과 직원과 직접 대화할 통로를 엽니다. 평가자는 앤트로픽의 편집을 거치지 않고 결과를 공개할 수 있습니다. 불리하다는 이유로는 가릴 수 없고, 무엇이 가려졌는지도 평가자가 말할 수 있습니다.

앤트로픽은 이 1단계를 단독으로 하겠다고 밝혔습니다. 2단계인 업계 조율과 3단계인 국제 조율은 아직 제안입니다.

늦춰서 얻는 시간은 네 곳에 쓰겠다고 했습니다. 운영 완성도, 정렬, 해석가능성, 시험과 평가입니다. 해석가능성과 평가는 1~2년이면 크게 나아질 수 있고, 이미 벌어진 사건들이 그 연구 재료라고 봤습니다.

전제는 중국과의 격차입니다. 칩과 반도체 장비를 팔지 않고 밀수를 단속하고, 무단 증류를 막고, 가중치 보안을 강화하면 앞으로 3~5년간 미국의 격차가 크게 벌어진다고 봤습니다. 국제 합의는 난이도 순으로 네 단계로 나눴는데, 생물무기 금지는 아마 가능하고 전면 감속은 당분간 어렵다고 적었습니다.