데빈과 퍼플렉시티가 GPT-6 아스트라에서 공통으로 꼽은 변화는 코드가 아니라 증거다

오픈AI가 2026년 9월 11일과 9월 14일 잇따라 공개한 두 건의 고객 사례에서 코그니션과 퍼플렉시티가 GPT-6 아스트라의 핵심 개선점으로 지목한 것은 생성 능력이 아니라 자기 작업을 테스트하고 결과를 증거로 내놓는 능력이다. 코그니션의 공동창업자 월든 얀은 데빈이 아이폰 게임 오터 런(Otter Run)을 시뮬레이터에서 실행한 녹화본과 통과한 검사 및 미검증 영역을 정리한 보고서를 함께 반환한다고 밝혔고, 퍼플렉시티의 공동창업자 겸 최고전략책임자 조니 호는 모델에 종단 간 시스템을 맡기고 이전 세대보다 훨씬 덜 들여다본다고 말했다. ASAP은 오픈AI가 공개한 두 발표문에 담긴 진술만으로 이 변화가 개발 조직의 무엇을 바꾸는지 정리한다.

코그니션이 아스트라에서 얻었다고 말한 산출물은 녹화본과 미검증 목록이다

코그니션은 기업들이 쓰는 자율 소프트웨어 엔지니어 데빈(Devin)을 만드는 회사이며, 큰 은행부터 테크 기반 스타트업까지 고객으로 두고 있다. 발표문이 밝힌 이 회사의 문제는 코드 생성이 아니라 검토다. 엔지니어링 팀이 더 많은 코드를 쓸수록 그 작업을 검토하는 일이 부담이 됐다는 것이다.

월든 얀의 표현은 명확하다. 아스트라가 개선한 큰 축 하나가 자기 작업을 테스트하고 그것이 기대대로 작동함을 증명하는 능력이라고 그는 말했다. 코그니션은 아스트라를 제품 전반에 적용하고 있으며, 클라우드 에이전트인 데빈 본체뿐 아니라 CLI와 데스크톱 제품에도 쓰고 있다고 밝혔다.

구체적인 예로 제시된 사례가 오터 런이다. 데빈이 아스트라를 써서 이 아이폰 게임을 테스트하고, 시뮬레이터에서 게임이 도는 녹화본과 함께 통과한 검사 항목과 검증되지 않은 채 남은 영역을 짚은 보고서를 반환한다. 녹화본은 애플리케이션의 동작을 보여 주고 보고서는 테스트의 범위를 기록하며, 엔지니어는 두 산출물로 소프트웨어가 어떻게 작동하는지 살피고 무엇이 여전히 주의를 필요로 하는지 파악한다.

고객 대응 속도에도 같은 방식이 적용된다. 고객이 버그 스크린샷을 보내면 팀은 아스트라를 쓰는 데빈에 그것을 넘기고, 데빈이 문제를 고친 뒤 결과를 보여 주는 스크린샷을 반환한다고 얀은 설명했다.

퍼플렉시티는 모델에 가짜 외부 서비스를 만들게 해서 워크플로를 끝까지 돌린다

퍼플렉시티가 아스트라에 맡긴 작업 범위는 커뮤니케이션 작성과 실제 시스템 변경과 프로덕션 소프트웨어 모니터링 세 갈래다. 조니 호는 모델이 커뮤니케이션을 작성하고 실제 시스템을 편집하고 프로덕션 소프트웨어를 모니터링하게 할 수 있으며 이전 세대는 하지 못하던 방식이라고 말했다.

테스트 방식은 코그니션과 결이 다르다. 수동으로 테스트할 시간이 부족한 상황에서 조니 호는 아스트라에 애플리케이션을 둘러싸는 작은 테스트 프로그램을 만들라고 요청한다. 모델은 다른 서비스가 보낼 법한 현실적인 응답을 생성하는데, 예로 언어모델 API나 커넥터가 제시됐다. 그 서비스들을 대신 서 줌으로써 모델은 애플리케이션이 어떻게 반응하는지 확인하고 워크플로를 처음부터 끝까지 검증한다.

발표문이 뽑은 결론 문장은 신뢰의 단위에 관한 것이다. 이제 종단 간 시스템 전체를 모델에 맡길 수 있고 이전 세대 모델보다 훨씬 덜 확인한다고 조니 호는 말했다. 발표문 제목이 정확도 개선이 아니라 신뢰를 앞세운 이유가 여기에 있다.

두 사례가 겹치는 지점은 테스트가 아니라 증거의 형식이다

여기서부터는 ASAP의 해석이다. 코그니션과 퍼플렉시티는 업종도 제품도 다르지만 아스트라에서 같은 것을 꺼내 썼다. 둘 다 모델에게 코드를 더 잘 쓰라고 요구하지 않고, 자기가 쓴 것이 돌아간다는 사실을 사람이 확인 가능한 형태로 내놓으라고 요구했다.

주목할 부분은 그 형태가 텍스트가 아니라는 점이다. 코그니션 사례에서 반환되는 것은 시뮬레이터 녹화본과 수정 결과 스크린샷이며, 퍼플렉시티 사례에서 만들어지는 것은 외부 서비스를 흉내 내는 실행 가능한 테스트 하네스다. 설명이 아니라 재생하거나 실행할 수 있는 산출물이고, 사람이 코드를 읽지 않고도 판정할 수 있는 종류다.

이 차이가 중요한 이유는 병목의 위치 때문이다. 코딩 에이전트가 생산량을 늘리면 병목은 작성에서 검토로 옮겨 간다. 코그니션 발표문이 명시한 문제의식이 정확히 그것이며, 데빈을 만드는 회사조차 자기 팀의 코드 검토를 부담으로 지목했다는 사실이 이 병목의 보편성을 보여 준다. 증거를 함께 내놓는 방식은 검토를 없애는 것이 아니라 검토의 대상을 코드에서 산출물로 바꾼다.

검토 대상을 바꾸는 일에는 새로운 실패 지점이 따라붙는다

증거 기반 검토로 옮겨 간다고 해서 검증이 저절로 안전해지지는 않으며, 2026년 9월 공개된 코그니션 발표문의 목표 문장부터 조건부로 적혀 있다. 얀은 시간이 지나면서 수동으로 봐야 하는 코드가 줄고 결국 더 많이 배포하게 되기를 기대한다고 말했고, 데빈이 자기 작업을 테스트하고 결과의 증거를 제공하면 엔지니어가 코드를 덜 직접 살피면서 변경을 평가할 수 있을 것이라는 서술도 가능성 형태다. 달성된 결과가 아니라 지향점이라는 뜻이다.

구조적으로 남는 문제도 있다. 테스트를 작성한 주체와 코드를 작성한 주체가 같으면 검증은 자기 채점에 가까워진다. 퍼플렉시티 사례에서 모델은 외부 서비스의 응답까지 스스로 만들어 내는데, 그 응답이 현실을 제대로 대표하는지는 별도 판단이 필요하다. 코그니션 사례가 통과한 검사와 함께 검증되지 않은 영역을 명시하는 구성인 점은 이 위험을 부분적으로 인정한 설계로 읽힌다.

세 번째는 증거의 해상도다. 녹화본은 화면에 나타나는 동작을 보여 주지만 상태 오염이나 경쟁 조건이나 권한 경계처럼 화면에 드러나지 않는 결함은 담지 못한다. 검토자가 영상으로 충분하다고 느끼는 순간이 오히려 놓치기 쉬운 결함이 통과하는 지점이 될 수 있다.

한국 개발 조직이 지금 조정할 것은 산출물 규격이다

국내 팀이 이 두 사례에서 바로 가져갈 수 있는 것은 모델 선택이 아니라 요구 사항의 규격이다. 코딩 에이전트에 과제를 줄 때 완료 조건을 코드 변경으로 두면 검토는 그대로 사람에게 남지만, 완료 조건에 실행 증거와 미검증 영역 명시를 포함하면 검토 비용의 상당 부분이 에이전트 쪽으로 넘어간다.

두 번째는 미검증 영역을 별도 항목으로 요구하는 습관이다. 코그니션 사례의 보고서가 통과 항목과 미검증 영역을 함께 담는다는 점은 사소해 보이지만, 무엇을 확인하지 않았는지를 산출물에 강제로 적게 하는 것은 자기 채점의 맹점을 줄이는 저비용 장치다. 이 요구는 모델 세대와 무관하게 오늘 쓰는 도구의 프롬프트와 템플릿에 넣을 수 있다.

세 번째는 증거의 저장 경로다. 녹화본과 스크린샷을 산출물로 받기 시작하면 검토 기록이 텍스트 로그에서 미디어로 옮겨 가며, 저장 위치와 보존 기간과 접근 권한을 함께 정해야 한다. 프로덕션 화면이 담긴 녹화본은 그 자체로 민감 정보가 될 수 있으므로, 증거를 요구하는 규격을 만들 때 처리 정책을 같이 만드는 편이 낫다.

두 발표문에 정량 지표가 한 건도 없다는 점은 분명히 해 둘 필요가 있다

검증 관점에서 이 두 건의 성격은 명확히 구분돼야 한다. 첫째, 두 발표문 모두 오픈AI가 자사 홈페이지에 게시한 고객 사례이며 형식은 인터뷰다. 코그니션 편과 퍼플렉시티 편 모두 회사 규모는 스타트업, 지역은 북미, 산업은 테크놀로지, 사용 제품은 API로 표기돼 있다.

둘째, 두 글 어디에도 정량 지표가 없다. 테스트 통과율이나 검토 시간 감소폭이나 배포 빈도 변화 같은 수치는 제시되지 않았고, 이전 세대 모델과의 비교도 인용문 속 서술로만 존재한다. 훨씬 덜 확인한다거나 수동으로 볼 코드가 줄기를 기대한다는 표현이 근거의 전부다.

셋째, 제3자 검증이 없다. 두 회사의 진술은 자체 경험이며 동일 조건에서 다른 모델과 비교한 실험 결과가 아니다. 따라서 이 두 건은 아스트라의 성능 증거가 아니라 초기 도입 팀이 어디에 가치를 두고 있는지를 보여 주는 신호로 읽는 편이 정확하다.

정리하면 이번 두 사례의 의미는 아스트라가 얼마나 좋아졌는지가 아니라, 프런티어 모델을 실제로 붙여 본 두 팀이 가장 먼저 요구한 것이 자기 검증 산출물이었다는 사실에 있다. 생성 품질이 일정 수준을 넘은 뒤 남는 병목이 검토라는 점, 그리고 그 병목을 푸는 첫 시도가 증거의 형식을 바꾸는 일이라는 점은 모델 이름과 무관하게 당분간 유효한 관찰이다.

출처: 오픈AI 'Cognition helps Devin test its own work with GPT-6 Astra'(2026년 9월 11일)와 'Perplexity trusts GPT-6 Astra with end-to-end systems'(2026년 9월 14일)