구글 딥마인드의 AlphaEvolve는 'AI가 새로운 알고리즘을 스스로 발견할 수 있는가'에 구체적인 답을 내놓은 사례다. Gemini가 코드를 제안하고 자동 평가자가 검증하는 진화 루프로, 1969년 이후 56년간 깨지지 않던 행렬 곱셈 기록을 갈아치웠다. 게다가 50개가 넘는 수학 난제에 도전해 일부를 개선했고, 구글의 데이터센터와 Gemini 학습까지 스스로 최적화했다. 이 글에서는 AlphaEvolve가 무엇인지, 어떻게 작동하는지, 무엇을 이뤘는지, 왜 기존 AI 코딩 도구와 근본적으로 다른지, 그리고 RSI와의 연결과 한계까지 짚는다.

AlphaEvolve란 무엇인가

AlphaEvolve는 구글 딥마인드가 공개한 'Gemini 기반 진화형 코딩 에이전트'다. 범용 알고리즘을 발견·최적화하기 위해, 거대 언어모델의 창의적 제안과 자동 평가자의 검증을 진화 프레임워크로 결합한 시스템이다.

핵심은 '사람이 정답을 알려 주지 않는다'는 점이다. 문제와 평가 기준만 주면, AlphaEvolve가 후보 해법을 만들어 내고 스스로 점수를 매겨 더 나은 쪽으로 진화시킨다.

어떻게 작동하나

작동 방식은 진화(evolution) 그 자체다. Gemini가 코드 변형(해법 후보)을 제안하면, 자동 평가자가 그 코드를 실제로 돌려 점수를 매기고, 점수가 높은 후보가 살아남아 다음 세대의 출발점이 된다.

이 '제안 → 검증 → 선택 → 반복'이 수천 번 돌면서 사람은 생각하기 어려운 해법까지 도달한다. 핵심 전제는 '자동으로 검증 가능한 문제'라는 점이며, 그래서 답을 채점할 수 있는 알고리즘·수학 영역에서 특히 강하다.

기존 AI 코딩 도구와 무엇이 다른가

이 지점을 짚어야 AlphaEvolve의 진짜 성격이 보인다. 코파일럿류 코딩 보조 도구는 사람이 코드를 쓰는 속도를 높여 준다. 즉 사람이 이미 알고 있거나 검색하면 나올 법한 해답을, 더 빠르게 타이핑하게 도와주는 것이 본질이다. 반면 AlphaEvolve의 목표는 '아직 아무도 모르는 더 나은 해법'을 찾는 것이다. 슈트라센의 방법을 56년 만에 넘어섰다는 사실이 그 차이를 압축한다. 이것은 기존 코드를 정리·보완한 결과가 아니라, 알려진 최선을 실제로 갱신한 결과다.

또 하나의 차이는 '판단의 주체'다. 일반 LLM은 스스로 내놓은 답이 맞는지 확신하지 못하고, 그럴듯해 보이는 오답(환각)을 걸러 내기 어렵다. AlphaEvolve는 이 약점을 구조로 우회한다. 제안은 Gemini가 하되, 좋고 나쁨의 최종 판정은 코드를 실제로 실행해 점수를 내는 자동 평가자가 맡는다. 즉 '창의성은 모델이, 진위 판정은 실행 결과가' 담당하는 분업이다. 이 분업 덕분에 모델이 아무리 대담한 후보를 던져도 틀린 것은 낮은 점수로 자연히 도태된다. 대담함의 비용이 사실상 0에 가까워진 것이 핵심이다.

56년 기록을 깬 행렬 곱셈

가장 유명한 성과는 행렬 곱셈이다. AlphaEvolve는 4×4 복소수 행렬을 48번의 스칼라 곱셈으로 계산하는 알고리즘을 찾아, 이 설정에서 최선으로 알려졌던 슈트라센(1969)의 방법을 처음으로 넘어섰다.

이는 무려 56년간 깨지지 않던 기록이다. 행렬 곱셈은 AI 학습부터 그래픽스까지 거의 모든 계산의 바닥에 깔린 연산이라, 한 번의 개선이 광범위한 효율로 이어질 수 있다.

성과를 어떻게 읽어야 하나

숫자를 그대로 받아들이기 전에 맥락을 나눠 볼 필요가 있다. '48번'이라는 결과가 인상적인 이유는 곱셈 한 번을 아꼈다는 절대량 때문이 아니라, 반세기 동안 최고 수준의 수학자들이 손대고도 움직이지 않던 벽을 자동 탐색으로 밀었다는 점 때문이다. 즉 이 성과의 무게는 효율 개선폭이 아니라 '방법론이 통했다'는 증명에 있다.

동시에 과대 해석은 경계해야 한다. 이 결과는 특정 설정(4×4 복소수)에 대한 것이며, 모든 행렬 곱셈이 곧바로 빨라진다는 뜻은 아니다. 또 슈트라센의 방법은 이미 실무에서 그대로 쓰이기보다 이론적 하한을 논할 때 자주 인용되는 대상이라, 당장의 실행 속도가 극적으로 바뀐다고 보기는 어렵다. 진짜 의미는 '탐색이 인간 전문가의 상한을 넘길 수 있음을 보인 것'이며, 실용적 파급은 뒤에 나올 인프라 성과 쪽이 더 직접적이다.

수학·인프라 성과

수학에서도 AlphaEvolve는 해석·기하·조합론·정수론의 미해결 문제 50여 개에 도전했다. 약 75%에서 기존 최고 수준과 동등한 해를 찾았고, 약 20%에서는 알려진 최선의 해를 개선했다.

현실 인프라 성과도 크다. 구글 데이터센터 스케줄링을 개선해 컴퓨팅 자원을 회수했고, Gemini 학습의 핵심 행렬 연산 커널을 23% 빠르게 만들어 전체 학습 시간을 1% 줄였다. Gemini 규모에서 1%는 수십만 GPU 시간에 해당한다.

여기서 눈여겨볼 대비가 있다. 수학 난제에서 '75%는 동등, 20%만 개선'이라는 분포는, 이 방식이 만능 정복기가 아니라 '이미 좋은 해를 확인하고 가끔 넘어서는' 도구임을 보여 준다. 반대로 인프라 쪽 숫자(커널 23%, 학습 1%)는 작아 보이지만 규모로 곱해지면 곧바로 돈과 전력으로 환산되는 성과다. 다시 말해 수학 성과는 '가능성의 증명'이고, 인프라 성과는 '이미 회수 중인 이익'이라는 성격 차이가 있다.

RSI와의 연결, 그리고 한계

주목할 점은 AlphaEvolve가 자신을 떠받치는 Gemini의 학습까지 최적화했다는 것이다. AI가 AI의 인프라를 개선하는, 재귀적 자기개선(RSI)의 현실적 사례에 가깝다.

다만 이 'RSI적 성격'은 신중히 읽어야 한다. AlphaEvolve가 스스로 판단해 자신을 무한히 강화하는 자율 루프는 아니다. 지금의 자기개선은 사람이 '학습 커널을 빠르게 하라'는 검증 가능한 목표를 걸어 준 범위 안에서 일어난다. 즉 자기개선의 방향과 채점 기준은 여전히 사람이 쥐고 있다. RSI 담론이 종종 그리는 '통제 밖 폭주'와는 결이 다르며, 오히려 '사람이 목표를 잘 정의하면 AI가 그 목표를 향해 스스로 코드를 진화시킨다'는, 통제 가능한 형태의 자기개선에 가깝다.

그래서 만능은 아니다. AlphaEvolve의 힘은 '자동으로 채점 가능한 문제'에서 나오므로, 정답을 명확히 검증하기 어려운 영역에는 그대로 적용되지 않는다. 글쓰기·전략·디자인처럼 '좋은 답'을 수치로 채점하기 힘든 문제에서는 진화 루프가 방향을 잡을 좌표 자체가 없다. 즉 '검증 가능한 평가자'를 설계하는 것이 이 방식의 진짜 열쇠이며, 앞으로의 확장 여부도 결국 '얼마나 많은 문제를 채점 가능한 형태로 바꿀 수 있는가'에 달려 있다.

한국 관점에서의 함의

국내 관점에서 이 사례가 던지는 메시지는 분명하다. 첫째, 경쟁의 무게중심이 '모델을 크게 키우기'에서 '평가자를 잘 설계하기'로 옮겨 갈 수 있다는 점이다. AlphaEvolve의 성과 대부분은 새 모델이 아니라, 문제를 채점 가능한 형태로 바꾸고 진화 루프를 붙인 데서 나왔다. 이는 초거대 모델 학습 경쟁에서 불리한 후발 주자에게도, '자동 채점이 명확한 좁은 도메인'에서는 파고들 틈이 있음을 시사한다.

둘째, 반도체·물류·에너지 스케줄링처럼 목표가 수치로 뚜렷한 산업 최적화 문제가 이 방식의 직접적 적용 대상이다. 구글이 자사 데이터센터 스케줄링에서 이미 자원을 회수한 것이 그 예다. 국내에서도 제조·통신·물류의 최적화 문제를 '검증 가능한 평가자' 형태로 정식화하는 역량이, 이 흐름을 실제 비용 절감으로 바꾸는 관건이 된다.

---

참고: Google DeepMind - AlphaEvolve · VentureBeat