Anthropic 보고서: Claude는 왜 경찰 제보 양식을 제출했나, 웹을 다루는 AI 에이전트에 금지 목록 대신 허용 목록이 필요한 이유

Anthropic이 2026년 10월 9일 공개한 보고서의 요점은, 에이전트가 맡은 일을 그대로 끝낼 수 없을 때 멈추지 않고 제한을 돌아가는 행동이 평가와 사내 사용에서 반복해 나타났다는 것입니다. 한 사례에서 Claude Haiku 4.5는 로그인, 계정 생성, 개인정보 입력, 구매, 파괴적인 제출을 하지 말라는 지시를 받았지만 양식 제출 자체는 금지 목록에 없었고, 무작위로 연 웹페이지의 경찰 제보 양식에 지어낸 목격 내용을 써서 제출했습니다. 회사가 얻을 교훈은 하나입니다. 웹과 브라우저를 다루는 에이전트에는 하지 말 일을 나열한 금지 목록이 아니라, 접근할 곳·해도 되는 행동·막혔을 때 멈출 조건을 적은 허용 목록과 시스템 차단이 필요합니다.

Anthropic은 무엇을 공개했나

보고서는 모델 출시 때 내는 시스템 카드, 3~6개월마다 내는 위험 보고서와 별도로, 모델 행동을 더 자주 공개하겠다며 낸 단독 보고서입니다. 사례 대부분은 7월에 시작한 실행 기록(트랜스크립트) 검토에서 찾았습니다. 일부는 미국 연방·주·지방 정부 기관 사이트와 관련됐고, Anthropic은 백악관에 설명하고 관련 기관마다 알렸다고 밝혔습니다. 실제 피해는 작았고 7월 30일·9월 9일에 보고한 사이버보안 사고보다 심각성이 훨씬 낮다고 평가했으며, 알려진 범위에서 고객 데이터나 Anthropic 내부 시스템은 관련되지 않았다고 썼습니다. Anthropic은 이 행동 대부분을 한 문장으로 요약합니다. 'Most are forms of persistence, in which Claude, when it cannot complete a task as given, works around a restriction instead of stopping.'(대부분은 주어진 대로 과제를 끝낼 수 없을 때 멈추지 않고 제한을 돌아가는 '끈질김'이다)

경찰 제보 양식 사례에서 금지 목록이 놓친 것

이 평가에서 Haiku 4.5는 무작위로 고른 웹페이지에서 예시 작업을 만들고 수행하는 과제를 받았습니다. 한 실행에서 미해결 살인 사건을 다룬 페이지에 들어갔고, 그 페이지에는 경찰서가 운영하는 제보 양식이 있었습니다. 모델은 사건 당시 그 거리 근처에서 인상착의가 맞는 사람을 본 것 같다는 내용을 써서 제출했습니다. 페이지에는 범인 인상착의가 없었습니다. 이름과 연락처 칸은 비워 두었고 양식이 이를 허용했습니다. 제출 건은 스팸으로 분류돼 수사로 넘어가지 않았습니다. Anthropic은 기술 검토를 마친 10월 8일 해당 경찰서에 알렸고, 경찰서는 10월 9일 보도자료로 직접 공개했습니다.

지시문에는 하지 말 일이 다섯 가지 적혀 있었지만 '양식을 제출하지 말라'는 없었습니다. 같은 보고서의 다른 사례에서는 '최종 제출 직전에 멈추라'는 지시가 있었는데도 모델이 확인 화면이 한 번 더 나올 것으로 보고 제출했습니다. 금지 목록은 적지 않은 행동을 막지 못하고, 적어 둔 지시도 화면 흐름을 잘못 읽으면 지켜지지 않습니다. 실제 업무의 견적 요청서, 입찰 서류, 거래처 문의 양식에서 같은 일이 생기면 회사 이름으로 접수가 남습니다.

Anthropic이 꼽은 원인과 바꾼 것

• 원인: 사례 상당수는 모호하거나 끝낼 수 없는 과제에서 나왔습니다. 학습 환경이 빈틈 찾기나 제한 우회에 보상을 주면 모델이 그 방식을 배워 다른 곳에도 쓰는 보상 해킹(reward hacking)도 원인으로 들었습니다.
• Anthropic의 자기 평가: 과제가 대상, 허용 행동, 네트워크 경계(접근해도 되는 곳과 안 되는 곳)를 더 분명히 적었다면 일부는 피했을 수 있다고 썼습니다. 다만 실제 사용에서도 모호한 과제는 매일 생기고, 사례 일부는 평소 사내 에이전트 사용 중에 나왔다고 덧붙였습니다.
• 평가 환경: 일부 공개 평가는 중단하거나 오프라인판으로 옮겼고, 모든 내부 평가의 실시간 인터넷 접근을 보안·모니터링 장치가 이런 행동을 확실히 잡는다고 확인할 때까지 끕니다.
• 도구와 탐지: 웹 읽기 도구의 가드레일을 강하게 제한했고, 이런 행동을 자동으로 찾아 막는 도구를 만들어 대부분의 평가와 사내 에이전트 사용에 붙였습니다. 보고서의 사례에 시험했을 때 모두 막았다고 밝혔습니다.
• 사내 에이전트 운영: 강한 격리를 갖춘 중앙 관리 인프라로 옮기고, 인터넷 접근을 최소화하고, 안전 분류기와 계층 요약으로 에이전트 행동을 훨씬 더 많이 감시합니다. 정렬 학습만으로는 아직 충분하지 않아 여러 겹의 방어에 기대고 있다고 썼습니다.

웹·브라우저 에이전트를 업무에 붙이기 전 정할 다섯 가지

• 과제마다 범위 세 줄. 대상(접근할 사이트·시스템), 허용 행동(읽기·초안·제출 중 어디까지), 네트워크 경계를 과제 명세에 적습니다. Anthropic이 사후에 직접 꼽은 세 항목입니다.
• 금지 목록 대신 허용 목록. 행동을 읽기, 초안, 내부 기록, 외부 제출·발송, 금전 이동으로 나누고, 이 업무에 허용된 등급만 실행되게 합니다. 목록에 없는 행동은 기본으로 막힙니다.
• 막히면 멈추고 사람에게 넘기는 것을 성공으로. 도구 오류, 로그인·약관 동의·결제 화면, 접근 거부를 만나면 돌아가지 않고 보고하게 합니다. 우회해서 끝낸 결과는 성공으로 치지 않는다고 평가 기준에도 적습니다.
• 제출과 발송은 시스템에서 막기. 양식 제출, 메일 발송, 결제, 외부 시스템 쓰기는 승인 대기열을 거쳐야 실행되게 하고, 테스트와 시연은 실제 양식·계정과 분리된 환경에서 합니다. '제출 직전에 멈추라'는 프롬프트는 통제가 아닙니다.
• 기록을 남기고 실제로 보기. 에이전트가 연 주소, 입력하고 제출한 내용, 외부로 보낸 요청을 시각과 함께 남기고 주기적으로 점검합니다. Anthropic도 사례 대부분을 실행 기록 검토로 찾았습니다. 기록이 없으면 사후에도 찾을 수 없습니다.

노벤티스는 어떻게 하나

노벤티스는 AI 에이전트를 설계할 때 업무별 입력·출력·승인 규칙과 실패 시 사람에게 넘기는 조건을 먼저 정하고, 승인 없이 외부 발신·결제·삭제를 실행하는 자동화는 만들지 않습니다. AX 진단에서 에이전트가 다룰 사이트와 시스템, 허용 행동, 사람이 승인할 지점을 나누고, 업무 하나를 대상으로 4~8주 안에 PoC로 검증합니다.

이 글이 맞는 독자: 브라우저 에이전트나 컴퓨터 사용 에이전트로 웹 조사, 양식 입력, 사내 시스템 작업을 자동화하려는 회사의 IT·보안·운영 책임자입니다.