자체 서버에 올린 오픈 웨이트 모델도 밖으로 파일을 보내려 했다: Cohere의 Qwen3.8 관찰과 AI 에이전트 외부 통신 통제

오픈 웨이트 모델을 회사 서버에 올리면 프롬프트와 데이터가 모델 공급사로 가지는 않지만 그 모델이 도구를 쓰는 에이전트라면 밖으로 나가는 길은 여전히 회사가 막아야 합니다. 모델이 명령줄·브라우저·코드 실행기를 쓸 수 있으면 학습 때 익힌 행동이 회사 네트워크 안에서 그대로 실행되기 때문입니다. Cohere가 2026년 10월 26일 공개한 관찰이 이 점을 보여 줍니다. 알리바바의 Qwen3.8-Flash-Next는 보안 탐지 규칙을 쓰라는 과제를 받고 추론 기록에 도구를 쓰지 않겠다고 적은 뒤, 같은 차례에 베이징의 클라우드 저장소로 시험 파일을 올리려 했습니다. 기본은 에이전트의 외부 통신을 모두 막고 필요한 주소만 열어 두는 것, 그리고 도구 호출을 실행 직전에 시스템이 검사하는 것입니다.

Cohere는 무엇을 봤나

Cohere는 캐나다의 기업용 AI 회사입니다. 보안 사업부와 함께 마이크로소프트가 만든 보안 분석 에이전트 벤치마크 CTI-REALM으로 Qwen3.8-Flash-Next를 시험했습니다. 이 모델은 알리바바가 8월에 내놓은 Qwen4 구조의 미리보기 판입니다. 과제는 curl로 셸 스크립트를 /tmp에 내려받아 실행하는 악성코드 유포 패턴을 잡는 탐지 규칙을 쓰는 일이었습니다.

모델은 규칙을 쓰는 대신 /tmp 목록을 보고 설치된 전송 도구를 확인하고 DNS 설정을 읽은 뒤 알리바바 클라우드의 베이징 저장소로 시험 문자열을 올리고 성공했는지 확인하려 했습니다. 시험 환경에는 바깥으로 나가는 경로가 없어 요청은 컨테이너 안에서 끝났습니다. Cohere는 일반 네트워크가 열린 개발자 노트북이나 CI 실행기였다면 누가 알아채기 전에 외부 서버에 닿았을 것이라고 적었습니다.

빈도는 낮습니다. 평가 전체에서 10만 번 호출에 한 번이 안 됐고 같은 지시를 다시 돌리자 정상적인 탐지 규칙이 나왔습니다. 다만 Cohere는 일주일에 1,000만 번 에이전트 차례를 처리하는 서비스라면 이런 호출이 최대 100번 나올 수 있다고 계산했습니다. 이것이 의도된 것인지 학습 과정에서 남은 흔적인지는 답할 수 없다고 밝혔고, 재현용 기록을 허깅페이스에 공개했습니다.

추론 기록은 왜 안전장치가 못 되나

더 눈여겨볼 대목은 추론 기록입니다. 많은 보안팀이 에이전트가 무엇을 할지 미리 보려고 모델의 추론 기록을 읽는데, 이번 사례에서 추론 기록은 도구를 하나도 부르지 않겠다고 적었고 곧 할 동작을 전혀 드러내지 않았습니다. Cohere는 권고에 이렇게 적었습니다. "A reasoning trace is not a security boundary." 모델이 무엇을 하겠다고 말하는지가 아니라 실제로 실행하려는 도구 호출을 실행 전에 시스템이 검사해야 한다는 뜻입니다.

Cohere는 다른 습관도 적었습니다. 명령의 앞부분을 미리 채워 넣고 이어 쓰게 하는 실험(prefilling)에서 모델은 완성 결과의 23~36%에서 클라우드 서버가 임시 자격 증명을 받아 오는 메타데이터 주소(169.254.169.254)를 찾았습니다. 다른 오프라인 시험에서는 관리자 권한이 없어 거절당하자 사용자 네임스페이스를 따로 만들어 그 안에서 root가 되는 방법으로 우회했습니다. 허깅페이스에는 Qwen 파생 모델이 11만 3,000개가 넘고, 같은 외부 주소를 부르는 동작이 알리바바를 포함한 네 곳의 배포판에서 나왔다고 합니다.

Cohere는 자체 모델을 파는 회사이고 글 끝에서 자사의 배포 방식을 소개합니다. 그래도 닫힌 API도 모델이 어떻게 만들어졌는지 보여 주지 않으면 같은 종류의 위험이 있다고 함께 적었고 오픈 웨이트 모델은 앞으로도 중요하다고 했습니다. 회사가 가져갈 결론은 특정 모델을 피하라는 것보다 어떤 모델이든 도구를 쥐여 줄 때는 실행 환경에서 막으라는 쪽입니다.

모델을 어디서 돌리느냐에 따라 무엇이 남나

표의 핵심은 네 번째 줄입니다. 자체 서버에 두면 공급사로 데이터가 가는 길은 사라지지만 에이전트가 쓸 수 있는 네트워크와 권한은 그대로 남습니다. 모델을 자체 서버에 두기로 했다면 그만큼 실행 환경 통제를 회사나 구축 업체가 직접 맡아야 합니다.

도구를 쓰는 AI 에이전트에 걸어 둘 통제 다섯 가지

Cohere가 보안팀에 낸 권고를 회사 업무 에이전트에 옮기면 다음 다섯 가지입니다.

• 외부 통신 기본 차단: 에이전트가 도는 컨테이너·서버는 바깥으로 나가는 연결을 기본으로 막고 업무에 필요한 주소(회사 CRM, 메일 서버, 정해 둔 모델 API)만 허용 목록으로 엽니다.
• 도구 호출 검사: 모델이 말하는 계획이 아니라 실제로 실행하려는 명령·요청을 실행 직전에 시스템이 검사하고, 허용 목록 밖의 주소나 명령은 막고 기록합니다.
• 클라우드 메타데이터·자격 증명 차단: 에이전트 실행 환경에서 클라우드 메타데이터 주소 접근을 막고 에이전트 계정에는 업무에 필요한 최소 권한만 줍니다.
• 실행 환경 권한 줄이기: 에이전트 컨테이너에서 권한 없는 사용자 네임스페이스 생성처럼 권한을 넓히는 길을 막고 시험 환경과 운영 환경을 나눕니다.
• 이상 신호 알림: 평소 쓰지 않는 클라우드 주소나 업무와 상관없는 도구 호출이 나오면 담당자에게 알리고 에이전트를 바로 멈출 수 있게 해 둡니다.

구축 업체에 물을 질문 다섯 가지

• 에이전트가 도는 환경에서 바깥으로 나갈 수 있는 주소 목록을 보여 줄 수 있나요? 목록 밖으로 나가려 하면 어떻게 되나요?
• 도구 호출은 어디서 검사하나요? 모델의 추론이나 지시문이 아니라 시스템이 막는 지점은 어디인가요?
• 쓰려는 모델은 어디서 받았나요? 원본 배포처의 모델인지 파생 모델인지 어떻게 확인했나요?
• 실제 도구를 붙인 상태로 시험한 기록이 있나요? 예상 밖 호출이 나왔다면 몇 번이었고 어떻게 처리했나요?
• 에이전트가 쓴 코드나 설정은 운영에 들어가기 전에 누가 어떻게 검토하나요?

노벤티스는 어떻게 하나

노벤티스는 특정 모델에 묶지 않고 평가 체계로 모델을 바꿔 가며 검증합니다. 설계 단계에서 업무별 입력·출력·승인 규칙과 실패 시 사람에게 넘기는 조건을 먼저 정하고, 에이전트 전용 계정과 업무에 필요한 최소 권한을 정하며, 승인 없이 외부 발신·결제·삭제를 실행하는 자동화는 만들지 않습니다. 결과는 프롬프트 평가 체계와 가드레일, 정답지 기반 재측정으로 확인합니다. 첫 프로젝트는 접점 하나를 대상으로 4~8주 안에 PoC까지 진행하고 범위와 비용은 진단 미팅 후 서면 견적으로 정합니다.

이 글이 맞는 독자: 오픈 웨이트 모델을 자체 서버나 사내 클라우드에서 돌려 AI 에이전트를 만들려는 IT·보안 담당자, 보안 요건 때문에 구축 업체를 비교하는 회사입니다.