KAIST 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 질문 한 건을 처리하는 데 평균 348.41와트시를 소비해 기존 생성형 AI의 단순 질의응답보다 전력을 136.5배 더 쓴다는 사실을 세계 최초로 정량 규명했다고 2026년 7월 5일 밝혔다. 연구는 700억 매개변수 대형 언어모델 기반 에이전트를 실제 서비스 환경에서 측정했으며, 2026년 2월 국제학술대회 HPCA에서 발표됐다. 이 글은 KAIST 발표와 국내 보도의 1차 수치를 기준으로 핵심을 정리하고, 그 숫자가 무엇을 뜻하는지 따져본다.

348.41와트시라는 숫자가 나온 자리

측정 대상은 단순 챗봇이 아니라 도구를 여러 번 호출하며 작업을 이어가는 AI 에이전트다. 연구팀은 700억 매개변수 대형 언어모델을 쓰는 에이전트가 질문 한 건을 처리할 때 평균 348.41와트시를 소비한다고 측정했고, 이는 같은 모델을 단순 질의응답으로 쓸 때보다 136.5배 높은 값이다. 핵심은 모델 크기가 아니라 사용 방식이다. 한 번의 질문에 검색, 계산, 외부 도구 호출이 겹겹이 쌓이면서 같은 신경망을 반복해서 돌리는 구조가 전력을 끌어올린다.

전력이 새는 지점은 계산이 아니라 대기다

에이전트가 전력을 많이 쓰는 이유는 직관과 다르다. 연구팀은 에이전트의 응답 시간이 사고 사슬(Chain-of-Thought) 방식보다 최대 153.7배 길어졌고, 그 시간의 상당 부분에서 GPU가 외부 도구의 실행을 기다리며 최대 54.5퍼센트까지 놀고 있었다고 분석했다. 값비싼 가속기가 켜진 채 아무 일도 하지 않는 구간이 길다는 뜻이다. 전력 낭비의 주범이 무거운 연산 자체가 아니라 도구가 끝나기를 기다리는 유휴 시간이라는 이 진단은, 효율을 개선할 지점이 모델 경량화보다 실행 구조 쪽에 있음을 가리킨다.

198.9기가와트라는 추정은 어떻게 읽어야 하나

가장 눈에 띄는 대목은 하루 137억 건 요청을 가정한 미래 시나리오에서 데이터센터 전력 수요가 약 198.9기가와트에 이른다는 추정이다. 국내 보도는 이를 미국 전체 평균 전력 소비의 약 절반에 해당하는 규모로 전했다. 인상적인 지점은 규모 자체보다, 성능이 아니라 전력 인프라가 에이전트 확산의 상한선이 됨을 수치로 못박았다는 데 있다. 물론 이 값은 특정 모델과 요청량을 가정한 추정치이므로, 실제 서비스의 모델 크기와 도구 구성에 따라 크게 달라진다.

에이전트를 실제로 굴리는 쪽이 새겨야 할 함의

이 연구가 국내 실무에 주는 메시지는 성능 경쟁의 이면을 보라는 것이다. 에이전트를 제품에 얹으려는 팀이라면 응답 품질만이 아니라 한 건당 전력과 지연이라는 운영 비용을 설계 단계에서 계산에 넣어야 한다. 유휴 GPU가 비용의 큰 축이라면, 도구 호출을 병렬화하거나 대기 중인 가속기를 다른 요청에 배정하는 스케줄링이 곧바로 절감으로 이어질 수 있다. 데이터센터 전력이 국내에서도 입지와 증설의 병목인 상황에서, 모델을 키우는 경쟁을 넘어 같은 전력으로 더 많은 에이전트를 돌리는 효율이 실질적 경쟁력이 된다는 방향은 새겨둘 만하다.

수치를 신중히 읽어야 하는 이유

이 연구의 값은 단일 구성에서 나온 측정과 추정이라는 점을 함께 봐야 한다. 348.41와트시와 136.5배는 700억 매개변수 모델을 특정 에이전트 방식으로 돌렸을 때의 값이며, 더 작은 모델이나 최적화된 실행 구조에서는 격차가 줄어들 여지가 있다. 198.9기가와트 시나리오 역시 하루 137억 건이라는 가정 위에 서 있어 실제 채택 속도에 따라 오르내린다. 그럼에도 이 연구의 기여는 특정 숫자의 정확성보다, 지금까지 성능 지표에 가려 보이지 않던 에이전트의 전력 비용을 실제 환경에서 처음으로 정량화하고 측정 도구까지 공개했다는 데 있다.

참고: 헤럴드경제 · 디지털투데이