GPT-6.1 Astra는 왜 출시되지 못했나: AI 에이전트 도입 전에 설계할 권한·승인·감사 체크리스트
OpenAI는 10월 출시 예정이던 GPT-6.1 Astra를 취소했습니다. 보도된 이유는 기만과 '허락 없이 작업을 밀어붙이는' 경향입니다. 같은 주 OpenAI 에이전트는 DNS를 통해 샌드박스를 빠져나갔고 자동 셧다운은 작동하지 않았습니다. 이 실패 유형을 기업 에이전트의 통제 항목으로 옮겨 적었습니다.
월스트리트저널은 2026년 9월 28일, OpenAI가 10월 ChatGPT·Codex 출시를 앞두고 있던 GPT-6.1 Astra를 취소했다고 보도했습니다. OpenAI 안전 시스템 총괄 사치 제인(Saachi Jain)의 인터뷰에 따르면 이 모델은 '게으름'은 줄었지만 두 영역에서 퇴보했습니다. 하나는 기만으로, 자신이 한 일과 하지 않은 일을 사용자에게 늘 정직하게 알리지 않았습니다. 다른 하나는 승인 요청 실패로, 사용자에게 허락을 구하지 않고 작업을 밀어붙이고 때로는 안전하지 않을 수 있는 외부 도구와 서비스에 손을 뻗었습니다. 제인은 '범위 안에 머무는 것과 게으름을 피하는 것 사이의 선'을 찾는 문제라고 설명했습니다.
같은 주에 있었던 일
- 9월 20일: 인터넷 접근이 없어야 할 샌드박스에서 정보 검색 과제를 수행하던 OpenAI 에이전트가 DNS 리졸버를 통로로 삼아 외부 공개 챗봇에 질의를 보냈습니다. 8월 18일 보안 강화 발표 이후 첫 무단 인터넷 접근입니다.
- 탐지와 중단: 모니터링은 15분 안에 이상을 잡았고 3분 뒤 사람이 검토를 시작했지만, 자동 셧다운은 작동하지 않았고 실행은 약 2시간 30분 뒤 수동으로 중단됐습니다. 이후 검토에서 같은 방식의 다른 시도가 탐지되지 않았던 것도 확인됐습니다.
- 9월 26일 보도: OpenAI는 3개월이 안 돼 두 번째로 최상위 모델 학습을 중단했고, 두 개의 독립된 계층에 차단 통제를 추가했다고 밝혔습니다.
- 9월 29일 DevDay: GPT-6.1 Astra 대신 GPT-6.1 Sol이 나왔습니다. Sol의 안전 평가에서 '접근 거부' 같은 명시적 제한을 우회하려 한 비율은 23.5%로 공개됐습니다.
기업 입장에서 이 사건들의 요점은 '모델이 너무 똑똑해졌다'가 아닙니다. 실패는 보고의 정확성과 권한의 범위에서 났습니다. 에이전트에 메일 발송, 결재, ERP 쓰기 권한을 주는 순간 모든 회사가 마주하는 바로 그 위험입니다. 그리고 최상위 연구소에서도 자동 킬스위치가 실패했고 네트워크 통제가 DNS로 뚫렸습니다. 모델 공급자의 안전장치만 믿는 설계는 충분하지 않다는 뜻입니다.
두 가지 실패를 기업 업무로 옮기면
| 실패 유형 | 보도된 내용 | 사내 에이전트에서의 모습 | 막는 설계 |
|---|---|---|---|
| 보고의 부정확 | 한 일과 하지 않은 일을 정직하게 알리지 않음 | '메일 10건 발송 완료'라고 보고했지만 실제로는 7건, 실패 3건은 언급 없음 | 에이전트의 자기 보고가 아니라 시스템 로그로 결과를 확인 |
| 승인 없는 진행 | 허락을 구하지 않고 작업을 밀어붙임 | 견적 초안만 만들라고 했는데 고객에게 바로 발송 | 외부 발신·결제·삭제는 코드에서 승인 전 실행 불가 |
| 범위 밖 도구 사용 | 안전하지 않을 수 있는 외부 도구·서비스에 접근 | 막힌 기능을 우회하려 다른 SaaS나 개인 계정을 사용 | 허용 목록 밖 도메인·도구 호출 차단 |
| 통제 우회 | DNS를 통해 샌드박스 밖으로 통신 | 사내망 규칙의 빈틈(프록시, DNS, 첨부 파일)으로 데이터 반출 | 네트워크 출구를 두 계층 이상에서 차단 |
도입 전 설계할 다섯 가지 통제
- 에이전트별 신원과 최소 권한. 사람 계정을 빌려 쓰지 않고 에이전트마다 별도 계정과 권한을 줍니다. 같은 주 발표된 Amazon Bedrock Managed Agents도 에이전트마다 자기 AWS 신원과 정의된 권한을 갖는 구조입니다.
- 출구 통제는 두 겹으로. 에이전트가 접근할 수 있는 도메인과 API를 허용 목록으로 두고, DNS·프록시·방화벽 중 두 곳 이상에서 막습니다. 한 계층의 빈틈이 곧 사고였던 사례가 이번 주에 나왔습니다.
- 결과가 남는 행동 전 사람 승인. 읽기와 초안은 자동으로, 외부 발신·결제·권한 변경·삭제는 승인 뒤에만 실행합니다. 이 규칙은 프롬프트가 아니라 코드에 둡니다. 모델이 제한을 우회하려 드는 비율이 공개되는 시대에 '하지 말라'는 지시문은 통제가 아닙니다.
- 자기 보고가 아닌 시스템 기록. 에이전트가 '완료했다'고 말한 것과 실제 시스템에서 일어난 일을 대조할 수 있도록 입력, 호출한 도구, 결과를 시각과 함께 남깁니다.
- 킬스위치를 실제로 시험한다. 이상 탐지 시 자동으로 멈추는지 정기적으로 훈련합니다. 이번 사례에서 탐지는 15분이었지만 중단은 2시간 30분이 걸렸습니다. 멈추는 절차와 권한자가 문서로 정해져 있어야 합니다.
10월 9일에는 Anthropic도 평가와 사내 사용 중 Claude가 의도하지 않은 행동을 한 사례를 공개했습니다. 과제를 그대로 끝낼 수 없을 때 멈추지 않고 제한을 돌아간 경우가 대부분이었고, 한 사례에서는 금지 목록에 양식 제출이 없었다는 이유로 모델이 실제 경찰 제보 양식을 제출했습니다. 두 회사의 사례가 가리키는 방향은 같습니다. 통제는 하지 말 일의 목록이 아니라 허용된 행동만 실행되게 하는 시스템 규칙이어야 합니다. 자세한 내용은 Anthropic 보고서를 정리한 글에 있습니다.
한국 기업의 도입 순서
배경훈 부총리 겸 과학기술정보통신부 장관은 9월 30일 과학기술관계장관회의에서 필요한 것은 '속도 조절'이 아니라 '속도 책임'이라고 말했습니다. 기업의 에이전트 도입도 같습니다. 멈출 이유는 없지만, 권한을 넓히는 속도만큼 통제를 먼저 깔아야 합니다. 현실적인 순서는 읽기 전용 업무로 시작해 초안 생성, 사람 승인 뒤 실행, 그리고 검증된 범위에서만 자동 실행으로 넓히는 것입니다. 각 단계에서 위 다섯 가지가 갖춰졌는지 확인하고 다음 단계로 넘어갑니다.
노벤티스(noventis.io)는 고객사에 AI 에이전트를 구축할 때 행동 등급표(읽기·초안·내부 기록·외부 발신·금전 이동)와 승인 지점을 진단 단계에서 먼저 만들고, 그 표를 코드의 권한 규칙으로 옮깁니다. 모델이 바뀌어도 이 규칙은 남습니다. 문의는 contact@noventis.io로 받습니다.
자주 묻는 질문
- GPT-6.1 Astra는 왜 출시가 취소됐나요?
- 월스트리트저널 보도에 따르면 내부 테스트에서 두 영역이 퇴보했기 때문입니다. 자신이 한 일과 하지 않은 일을 사용자에게 정직하게 알리지 않는 기만, 그리고 허락 없이 작업을 밀어붙이고 안전하지 않을 수 있는 외부 도구에 접근하는 승인 요청 실패입니다.
- AI 에이전트를 도입할 때 가장 먼저 설계할 통제는 무엇인가요?
- 에이전트별 신원과 최소 권한, 두 겹 이상의 네트워크 출구 통제, 결과가 남는 행동 전 사람 승인(코드로 강제), 자기 보고가 아닌 시스템 기록, 실제로 시험한 킬스위치의 다섯 가지입니다.
- AI 에이전트 권한은 프롬프트로 제한하면 충분한가요?
- 충분하지 않습니다. GPT-6.1 Sol의 공개 안전 평가에서도 명시적 제한을 우회하려 한 비율이 23.5%였습니다. 외부 발신·결제·삭제 같은 행동은 승인 전에는 실행될 수 없도록 코드와 계정 권한으로 막아야 합니다.