글 37편을 777번 검사하는 데 0.0025달러, 0.7초가 들었습니다.
글 37편을 777번 검사하는 데 0.0025달러, 0.7초가 들었습니다.
타입세이프가 Jev를 공개했습니다. 창업자 디오고 알메이다는 오픈AI에서 언어모델이 지시를 따르고 사람과 대화하게 만든 연구를 했고, 그게 챗GPT의 바탕이 됐습니다. 그가 4년간 붙들고 있던 질문이 발표문 첫 줄에 있습니다. 모델이 채팅에서 사람을 넘어선 지 몇 해가 지났는데 자동화는 다 어디 있느냐는 것입니다.
Jev는 글을 쓰지 않습니다. 물어볼 수 있는 질문이 세 가지뿐입니다. 목록에서 고르기, 기준을 주고 점수 매기기, 참인지 거짓인지입니다. 답은 값과 확률로 돌아옵니다.
LLM은 다음에 올 토큰의 확률을 계산해 하나를 뽑고, 뽑은 걸 다시 입력에 붙여 또 뽑습니다. 이걸 끝까지 되풀이해 답을 씁니다. Jev는 답의 후보를 미리 받아 두고 그 후보들 위의 확률을 한 번에 계산합니다. 쓰는 게 아니라 고르는 것입니다.
쓰는 자리는 사람이 읽고 판단하던 곳입니다. 문의를 어느 팀으로 보낼지, 인용이 주장을 받치는지, 지금 이 도구를 불러도 되는지처럼 소프트웨어가 계속 되풀이하는 작은 판단입니다.
쓰는 법은 쪼개는 것입니다. 여러 요인을 저울질해야 하는 질문은 요인별로 나눠 묻고, 그 답을 합치는 추론은 코드가 합니다. 비중을 바꿀 때 프롬프트가 아니라 계수를 고칩니다.
- 글 37편에 문체 질문 21개씩, 판단 777번이 0.7초에 0.0025달러였습니다
- 고객 문의 한 건에 질문 27개를 걸었더니 0.114초에 전부 돌아왔습니다
- 같은 걸 GPT-5.6 terra는 8.566초에 냈습니다. 기본 추론 설정입니다
- 값은 입력 토큰으로만 매깁니다. 100만 토큰당 0.042달러이고 출력은 무료입니다
- 그래서 비용 때문에 건너뛰던 검사를 단계마다 다시 켤 수 있습니다
- 브라우저를 직접 모는 공개 저장소도 나왔습니다. 항공편 검색을 7.1초에 끝냅니다
- 거기선 판단만 Jev가 하고 입력할 글자는 작은 LLM이 씁니다
- 답의 후보가 미리 닫혀 있어서 목록 밖의 값이 나올 길이 없습니다
- 다만 판단 자체는 틀릴 수 있습니다. 그래서 답마다 확률과 확신도를 같이 냅니다
- 확률은 보정돼 있습니다. 0.8이라고 한 것들이 실제로 80% 맞는다는 뜻입니다
- 정확도 1위는 아닙니다. 68%로 GPT-5.6 terra와 같은 자리이고 sol이 74%로 위입니다
- 결함 찾기 시험에서는 심어 둔 문제 7개 중 6개를 찾았습니다. 비교 모델은 7개를 다 찾았습니다
출처 TypeSafe 공식 발표와 개발자 문서, Every 마이크 테일러 실측, browser-use/jev-ultrafast
카드 내용
- 세 가지 방식으로 묻고, 확률로 답합니다Choice는 목록에서 선택, Score는 기준에 따른 점수, Noul은 참과 거짓인지 판단합니다.
답은 값과 확률로 돌아옵니다.
출처: TypeSafe 공식 워크플로 평가 (evals.typesafe.ai) - LLM은 답을 쓰고 Jev는 답을 고릅니다LLM은 다음에 올 토큰을 하나씩 뽑아 잇습니다. 뽑은 걸 다시 입력에 붙여 또 뽑습니다.
Jev는 답의 후보를 미리 받아 두고, 그 후보들 위의 확률을 한 번에 계산합니다.
출처: TypeSafe 공식 발표 (2026-09-15) - 사람이 읽고 판단하던 문제를 해결합니다
무엇을 넣고 무엇이 나오는지 미리 정해 둡니다. 고객 응대라면 넘길지, 환불할지, 사람에게 올릴지입니다.
출처: TypeSafe 공식 워크플로 평가 (evals.typesafe.ai) - 쪼개서 묻고 코드가 합칩니다저울질이 필요한 질문은 요인별로 나눠 묻습니다. 합치는 추론은 모델이 아니라 코드가 합니다.
비중을 바꿀 때 프롬프트가 아니라 계수를 고칩니다.
출처: TypeSafe 공식 워크플로 평가 (evals.typesafe.ai) - 검사를 늘려도 값이 거의 안 붙습니다값은 입력 토큰으로만 매기고 출력은 무료입니다. 질문 여러 개가 같은 내용 하나를 놓고 한 번에 평가됩니다.
그래서 비용 때문에 뺐던 검사를 다시 켤 수 있습니다.
출처: TypeSafe 공식 발표 (2026-09-15) - 항공편 검색을 7.1초에 끝냈습니다화면에서 누를 수 있는 요소를 번호표로 만들어 넘기면, Jev가 무엇을 할지와 어디에 할지를 한 번에 고릅니다.
입력할 글자는 작은 LLM이 씁니다. Jev는 글을 못 쓰기 때문입니다.
출처: browser-use/jev-ultrafast (2026-09) - 정확도는 같은데 값만 내려갔습니다
정확도 1위는 74%의 sol입니다. Jev는 68%로 terra와 같은 자리인데 값은 수십 분의 1입니다.
출처: TypeSafe 공식 발표 (2026-09-15)
