AI를 잘 쓰는 핵심은 검증 가능한 형태로 시키는 것입니다. 안드레이 카파시는 2026년 "전통적 컴퓨터가 코드로 명세할 수 있는 일을 자동화했다면, LLM은 검증할 수 있는 일을 자동화한다"고 말했습니다. 따라서 프롬프트는 산출을 검증 가능하게 만들수록 정확해집니다. ASAP은 이 원칙을 프롬프트 설계법으로 정리합니다.

왜 검증 가능성이 핵심인가

LLM이 강한 영역과 약한 영역은 검증 가능성으로 갈립니다. 모델은 정답을 채점할 수 있는 환경(테스트·점수·증명)에서 강화학습으로 훈련돼, 그런 작업에서 능력이 뾰족합니다. 그래서 검증 가능한 형태로 시키면 모델의 강점을 끌어내고, 사람도 결과를 잡아낼 수 있습니다.

세 가지 설계 원칙

검증 가능한 프롬프트는 3가지 설계 원칙을 갖추며, 순서대로 적용합니다.

1. 정답 판정 기준을 명시하라 — 무엇이 '맞음'인지 테스트·예시·포맷으로 못 박는다.
2. 검증 가능한 형태로 출력을 요구하라 — 코드+테스트, 표, 체크리스트처럼 확인 가능한 산출을 시킨다.
3. 자기검증 단계를 요구하라 — 답을 내기 전 스스로 점검·반례 확인을 거치게 한다.

세 원칙 모두 '확인할 수 있게' 만드는 장치입니다.

나쁜 프롬프트 vs 좋은 프롬프트

같은 작업이라도 아래 3가지 대비처럼 검증 가능성에서 결과가 갈립니다. 다음 대비가 핵심입니다.

오른쪽이 모델의 강점을 끌어내고 결과를 검증 가능하게 만듭니다.

검증 불가능한 작업은

검증이 어려운 작업은 LLM에 어떤 프롬프트를 줘도 위험합니다. 답을 채점할 방법이 없으면 모델은 그럴듯한 오답을 낼 수 있고, 사람도 잡지 못합니다. 이런 작업은 검증 가능한 작은 조각으로 쪼개거나, 사람의 판단을 명시적으로 끼워 넣어야 합니다.

정리

좋은 프롬프트는 검증 가능한 프롬프트입니다. 정답 기준을 명시하고, 확인 가능한 형태로 출력을 요구하고, 자기검증을 시키면 됩니다. 'LLM은 검증할 수 있는 일을 자동화한다'는 원칙을 프롬프트에 새기는 것이 핵심입니다.

출처: Andrej Karpathy, "From Vibe Coding to Agentic Engineering"(Sequoia AI Ascent 2026; 명세 가능 → 검증 가능 자동화) 기반 ASAP 정리.