앤트로픽이 공개한 AI 에이전트 물물교환 실험

앤트로픽이 9월 24일 AI 에이전트에게 물물교환을 맡긴 실험 결과를 공개했습니다. 직원 201명이 줄 책을 한 권씩 가져왔고, Claude 에이전트가 주인 대신 거래장에서 흥정해 바꿔 왔습니다.

사람이 한 일은 짧은 대화로 읽고 싶은 책을 알려 준 것뿐입니다. 그 대화만으로 에이전트는 책 두 권 중 주인이 뭘 더 좋아할지 61% 맞혔습니다. 찍으면 50%, 인기순이면 53%입니다.

결과는 가능한 최선(10권 중 2위 책)에 못 미친 5위쯤이었습니다. 앤트로픽은 그 손해의 85%가 흥정 실력이 아니라 취향을 덜 안 데서 나왔다고 분석했습니다.

흥정 자체는 모델이 갈랐습니다. 에이전트를 Haiku에서 Opus로 바꾸면 성과가 크게 올랐고, '무자비하게 하라'는 지시는 거의 차이를 못 냈습니다.

참가자들은 받은 책에 10점 만점에 7.2점을 줬고, 연간 책 예산의 30%쯤은 에이전트에게 맡기겠다고 답했습니다. 취향을 아는 친구에게 맡기겠다는 몫은 40%였습니다.

ASAP이 보기에 AI 에이전트 시대의 병목은 협상이 아니라 '나를 얼마나 아느냐'입니다. 참가자가 앤트로픽 직원이라 신뢰가 높게 나왔을 수 있다는 점은 앤트로픽도 밝혔습니다.