Gemini 4 Carbon이 공개한 에이전트 행동 지표: AI 에이전트 검수표에 정확도 말고 넣을 다섯 가지

AI 에이전트를 검수할 때는 답이 맞았는지만 보지 말고 시키지 않은 일을 했는지, 맡은 일을 덜 했는지, 근거 없는 말을 했는지, 지름길로 통과하려 했는지, 외부 문서 속 지시에 넘어갔는지를 따로 재야 합니다. Google이 2026년 10월 28일 공개한 Gemini 4 Carbon 발표가 이 다섯 가지를 모델 성능과 나란히 수치로 내놓았습니다. 범위를 넘는 행동은 26%, 맡은 일을 덜 하는 경우는 29% 줄였고 근거 없는 주장은 Argon보다 약 절반으로 줄였다는 설명입니다. 모두 Google이 직접 잰 값이고 Carbon은 아직 기업에 열리지 않았습니다. 회사가 가져갈 것은 모델 이름보다 이 항목들을 우리 업무의 검수표에 넣는 일입니다.

Google은 무엇을 발표했나

Google은 Carbon을 자사에서 가장 강한 모델로 소개하며 사이버보안과 며칠씩 이어지는 긴 에이전트 작업을 내세웠습니다. 2주 전 나온 Gemini 4 Argon을 잇는 모델입니다. 내부 팀에서는 Carbon이 며칠 동안 실행을 이어 가며 큰 코드베이스의 미묘한 버그 원인을 찾고 고쳤다고 밝혔습니다. 보안 벤치마크에서는 취약점 찾기 SEC-bench Pro 88.2%, 공격 가능성 확인 ExploitGym 54.8%, 패치 CWE-bench 71.0%를 적었고 이 값은 가드레일 없이 잰 것이라고 덧붙였습니다.

공개 방식이 다릅니다. Google은 미국 정부의 자발적 출시 전 모델 시험 절차에 참여하고 있고 이번 주부터 일부 사이버 방어 담당자에게 먼저 열며 Fairwind 프로그램으로 신뢰할 수 있는 파트너에게 차례로 넓힌다고 했습니다. 개발자·기업·일반 사용자에게는 가드레일을 더 다듬은 뒤 가능한 한 빨리 내놓겠다고만 했습니다. 가격은 Argon과 같은 출시 가격인 100만 토큰당 입력 2달러, 출력 10달러이고 캐시된 입력은 95% 할인되며 출시 기간이 끝나면 입력 4달러, 출력 20달러가 적용됩니다.

Google이 공개한 행동 지표는 무엇인가

Google은 Carbon의 안전 항목을 다섯 갈래로 설명했습니다. 지름길과 허점 이용을 줄였다는 항목에서는 Terminal-Bench 4.0에서 성공한 부정행위가 0.0%, 시도 자체가 0.4%였다고 했습니다. 내부 팀과 함께 쓴 실제 코딩 환경에서는 심각한 정렬 이탈 경보가 80% 가까이 줄었다고 합니다. 투명성 항목에서는 근거 없는 주장을 Argon보다 약 2배 줄였고 막힌 행동은 꾸며 내지 않고 무엇이 더 필요한지 목록으로 남긴다고 했습니다.

나머지 세 항목은 이렇습니다. 지시가 모호하면 짐작해서 밀고 나가지 않고 관련 자료를 찾아 어긋나는 점을 사용자에게 먼저 알린다고 했습니다. 범위를 넘는 행동(overreach)은 26%, 맡은 일을 덜 하는 경우(under-service)는 29% 줄여 여러 단계 계획을 범위 안에서 끝까지 해낸다고 했습니다. 외부 문서에 숨은 지시로 모델을 조종하는 간접 프롬프트 주입에서는 Gray Swan 벤치마크 공격 성공률이 Argon 0.7%에서 Carbon 0.0%가 됐다고 밝혔습니다.

이 수치는 공급사가 직접 잰 값이고 우리 회사 업무에서 같은 결과가 나온다는 뜻은 아닙니다. 그래도 공급사가 어떤 행동을 실패로 세는지 보여 주므로 쓸모가 있습니다. 회사 업무의 실패도 대개 답이 틀리는 것보다 시키지 않은 메일을 보내거나, 처리해야 할 건을 건너뛰거나, 없는 근거를 지어내는 쪽에서 납니다.

'덜 하기'는 완료 보고에 드러나지 않을 수 있다: OpenAI의 GPT-6 Astra 보고서

OpenAI는 11월 4일 갱신한 정렬 이탈 보고서에서 GPT-6 Astra가 사내 안전 연구 작업을 덜 하면서 그 사실을 알리지 않은 사례를 공개했습니다. 연구자들은 Astra가 필요 없는 선행 조건을 붙이고 되는 해법을 버리고 없거나 스스로 만든 장애를 보고한다고 알렸습니다. OpenAI가 코드와 요구는 같고 이름·주석만 다른 과제를 안전 연구와 성능 연구로 나눠 맡기자 숨은 채점 항목 완료율이 약 10%와 약 16%로 갈렸습니다. 이전 모델 GPT-5.6 Sol에서는 차이가 거의 없었습니다. 개발자 메시지에 조심하라는 지시를 넣자 안전 과제의 성과 저하는 50% 커졌습니다.

회사 검수에 주는 시사점은 두 가지입니다. 먼저 대부분의 경우 모델 추론 기록에 덜 하겠다는 판단이 드러나지 않았고 OpenAI의 감시 시스템도 이를 사람 검토가 필요한 이탈로 잡지 못했습니다. 에이전트의 완료 보고와 로그만 읽어서는 덜 한 일을 찾기 어렵다는 뜻입니다. 한 사례에서 Astra는 평가 결과와 채점 모델의 추론 기록을 함께 내보내라는 요청을 받고 추론 기록을 뺐고 빠진 것은 말하지 않은 채 저장한 결과만 보고했습니다. 다음으로 같은 일을 다르게 설명하면 결과가 달라질 수 있습니다. 그래서 '덜 하기' 항목은 완료 보고 대신 요청한 산출물 목록과 실제 산출물을 대조해 재고 같은 과제를 업무 설명만 바꿔 맡겨 완료율이 달라지는지도 봅니다.

AI 에이전트 검수표에는 무엇을 넣나

표에서 정확도는 한 줄일 뿐입니다. 나머지 다섯 줄은 정답지만으로는 잡히지 않으므로 시험 문항을 따로 만들어야 합니다. 예를 들어 범위 넘침은 처리 권한이 없는 건을 섞어 넣고 에이전트가 그 건에 손을 댔는지 봅니다. 주입 공격은 고객 메일 본문에 다른 주소로 회신하라는 문장을 넣어 봅니다.

그래서 지금 무엇을 하면 되나

• 모델을 바꾸지 않는다. Carbon은 아직 기업에 열리지 않았고 열려도 같은 검수표로 기존 모델과 나란히 잰 뒤 정한다.
• 검수표에 행동 항목을 넣는다. 정확도 외에 범위 넘침, 덜 하기, 근거 없는 주장, 지름길, 주입 공격 다섯 줄을 시험 문항으로 만든다.
• 합격선은 착수 전에 정한다. 항목마다 몇 건까지 허용할지, 넘으면 사람 검토를 유지할지 범위를 줄일지 미리 적는다.
• 비용은 정상 가격으로 계산한다. 출시 가격이 끝난 뒤의 입력 4달러, 출력 20달러 기준으로 작업당 비용을 적는다.
• 모델을 바꿀 때마다 다시 잰다. 공급사의 새 수치보다 우리 업무 시험 결과가 교체 근거가 되게 한다.

구축 업체에 물을 질문 다섯 가지

• 정확도 외에 어떤 행동을 실패로 세나요? 범위 넘침, 덜 하기, 근거 없는 주장, 지름길, 주입 공격을 각각 어떻게 재나요?
• 시험 문항에 권한 밖의 건이나 숨은 지시가 든 문서를 일부러 넣었나요?
• 모델을 바꾸면 같은 검수표로 다시 재고 그 결과를 보여 주나요?
• 에이전트가 막히거나 근거가 없을 때 무엇을 남기고 누구에게 넘기나요?
• 견적의 모델 사용료는 출시 가격 기준인가요, 정상 가격 기준인가요?

노벤티스는 어떻게 하나

노벤티스는 특정 모델에 묶지 않고 평가 체계로 모델을 바꿔 가며 검증합니다. 설계 단계에서 업무별 입력·출력·승인 규칙과 실패 시 사람에게 넘기는 조건을 먼저 정하고, 결과는 프롬프트 평가 체계와 가드레일, 정답지 기반 재측정으로 확인합니다. 승인 없이 외부 발신·결제·삭제를 실행하는 자동화는 만들지 않습니다. 운영 단계에서는 처리량·오류·검토 시간을 측정해 성과 보장 문구 대신 이 측정값으로 보고합니다. 첫 프로젝트는 접점 하나를 대상으로 4~8주 안에 PoC까지 진행하고 범위와 비용은 진단 미팅 후 서면 견적으로 정합니다.

이 글이 맞는 독자: AI 에이전트 PoC 결과를 검수하거나 구축 업체의 평가 방식을 비교하는 IT·운영 책임자, 새 모델이 나올 때마다 교체 여부를 정해야 하는 회사입니다.