AI 에이전트 운영 계약에 넣을 것: 장애·품질 저하 감시, 보고 주기, 책임 범위
에이전트는 서버가 정상이어도 답이 틀려질 수 있습니다. 서버 모니터링의 4대 황금 신호에 품질과 비용을 더한 감시 항목, 운영 계약 체크리스트, 운영비를 좌우하는 요인을 정리했습니다.
AI 에이전트 운영 계약에는 서버가 살아 있는지뿐 아니라 '처리 결과가 여전히 맞는지'를 감시하는 항목이 들어가야 합니다. 감시 지표와 평시 기준선, 알림과 대응 시간, 정기 보고 내용, 모델·프롬프트를 바꿀 때의 재검증, 그리고 회사와 운영사의 책임 경계를 계약서나 부속 문서로 정해 두세요.
일반 서버 운영의 감시 기준은 이미 잘 정리돼 있습니다. 2026년 7월 공개돼 개발자 커뮤니티에서 많이 읽힌 한 서버 모니터링 가이드는 구글 SRE의 4대 황금 신호(트래픽, 지연 시간, 에러, 포화도)를 출발점으로 삼습니다. 알람은 사용자가 겪는 증상에 걸고, 평균 대신 P95·P99 같은 백분위로 보며, 기준선은 장애가 나기 전에 정해 두라고 권합니다. 평균 지표를 믿으면 안 되는 이유를 가이드는 한 문장으로 요약합니다. '거짓말쟁이는 평균이다.' 요청 하나가 P99 지연을 피할 확률이 99%여도 화면 하나에서 40번 호출하면 전부 피할 확률은 67%라는 계산도 함께 실었습니다. 한 건을 처리하며 모델과 도구를 여러 번 부르는 에이전트도 마찬가지입니다. 이 가이드는 AI 에이전트를 다룬 글이 아니지만, 그 기준은 에이전트 운영에도 그대로 쓸 수 있습니다. 여기에 서버 지표로는 보이지 않는 품질과 비용 신호를 더해야 합니다.
에이전트 운영에서는 무엇을 감시해야 하나
| 신호 | 에이전트에서 무엇을 재나 | 계약·부속 문서에 적을 것 |
|---|---|---|
| 트래픽 | 처리 요청 건수, 업무별 유입량 | 평시 범위와 급증 시 처리 방식 |
| 지연 시간 | 건당 처리 시간(평균이 아니라 P95) | 목표 처리 시간, 초과 시 알림 기준 |
| 에러 | 실패, 예외, 사람에게 넘어간 비율 | 실패 건 재처리 책임과 기한 |
| 포화도 | 모델 호출 한도, 대기열 길이 | 한도에 닿았을 때의 대체 경로(다른 모델, 사람) |
| 품질 | 정답지로 다시 잰 정확도, 담당자 수정률 | 재측정 주기, 하락 시 대응 절차 |
| 비용 | 모델 사용료, 건당 비용 추이 | 월 상한, 초과 전 통보 기준 |
| 사람 검토 | 검토 대기 건수와 대기 시간, 검토에 든 사람 시간 | 정기 보고 항목, 대기가 길 때 에이전트가 멈출지·기다릴지·계속할지 |
운영 계약에는 무엇을 넣어야 하나
- 운영 범위: 어떤 업무, 어떤 시스템, 어느 시간대(업무 시간·24시간)를 운영사가 맡는가.
- 감시와 기준선: 위 여섯 신호 중 무엇을 재고, 평시 기준선은 언제 누가 정하는가.
- 알림과 대응: 어떤 증상을 누구에게 알리고, 몇 시간 안에 대응을 시작하는가. 원인 규명보다 복구를 먼저 하는 순서를 적는다.
- 정기 보고: 처리량, 오류, 사람 검토 시간, 품질 재측정 결과, 비용을 같은 형식으로 정해진 주기마다 보고한다.
- 변경 관리: 모델·프롬프트·규칙을 바꿀 때 정답지로 재검증하고, 결과가 떨어지면 되돌리는 기준을 미리 합의한다.
- 책임 경계: 업무 판단과 승인은 회사, 시스템 동작과 복구는 운영사. 모델 공급자 장애처럼 양쪽 밖의 원인은 어떻게 처리하는지도 적는다.
- 종료와 이전: 계약이 끝나면 코드, 프롬프트, 로그, 정답지를 어떤 형식으로 넘기는가.
업무 유형별로 무엇이 달라지나
업무 시간에만 쓰는 사내 업무(문의 분류, 문서 검색)
업무 시간 대응과 주간 보고로 충분한 경우가 많습니다. 대신 품질 재측정 주기는 빼지 마세요.
외부 고객이 24시간 이용하는 업무(고객 응대, 예약)
야간 장애 때 사람에게 넘기는 대체 경로와 대응 시작 목표 시간이 계약의 핵심입니다.
매일 보고가 나가는 업무(이슈 모니터링, 일일 브리핑)
보고서 발송 시각이 곧 마감입니다. 수집이 멈추면 발송 전에 알려 주는 알림과 누락 시 재발송 절차를 적으세요.
사람 검토 시간도 감시 항목에 넣어야 하나
그렇습니다. Anthropic이 2026년 10월 16일 공개한 내부 보고서에서 대화형 에이전트 세션 시간의 약 80%는 사람의 입력을 기다리는 시간이었고 비기술 직원도 에이전트 결과를 다 읽으려면 주 근무 시간의 절반 이상이 필요했습니다. 에이전트가 빨라질수록 회사 쪽 검토 담당자가 막히는 지점이 됩니다. 정기 보고에 사람 검토 대기 건수와 대기 시간, 검토에 든 사람 시간을 넣고 대기가 길어질 때 에이전트가 멈출지, 기다릴지, 정해진 범위 안에서 계속할지를 미리 합의하세요.
운영비는 무엇이 좌우하나
운영비는 대응 시간대(업무 시간만인지 24시간인지), 대응 시작 목표 시간, 보고 형식과 주기, 품질 재측정 주기, 연동 시스템 수가 정합니다. 모델 사용료는 사용량에 따라 움직이므로 정액 운영비에 섞지 말고 따로 적어 받아야 합니다. 앞의 가이드도 지적하듯 서서히 나빠지는 문제는 알람으로 잡기 어렵습니다. 지난주와 같은 기준으로 다시 재서 비교하는 정기 재측정 항목을 계약에 넣는 것이 비용 대비 효과가 큽니다.
노벤티스가 하는 일
노벤티스는 구축으로 끝내지 않고 운영·고도화까지 맡습니다. 운영 단계에서는 처리량·오류·검토 시간을 측정하고 같은 기준으로 다시 재서 에이전트 범위를 넓히며, 성과 보장 문구 대신 측정값으로 보고합니다. 2026년 5월부터 우유자조금 미디어 모니터링 시스템을 구축·운영하며 이슈 분석, 리포트 자동화, 운영 지표 설계를 맡고 있습니다. 운영 범위와 비용은 진단 미팅 후 서면 견적으로 드립니다.
이 체크리스트가 맞는 조직(best for): PoC를 마치고 운영 전환을 앞둔 조직, 구축 업체와 따로 운영 계약을 맺으려는 조직, 내부에 에이전트를 감시할 인력이 없는 중소기업입니다.
자주 묻는 질문
- AI 에이전트 운영 계약에 꼭 넣어야 할 항목은 무엇인가요?
- 운영 범위와 시간대, 감시 지표와 기준선, 알림·대응 시간, 정기 보고 내용, 모델·프롬프트 변경 시 재검증, 책임 경계, 종료 시 코드·프롬프트·로그·정답지 이전입니다.
- 서버 모니터링만으로 에이전트 품질 저하를 알 수 있나요?
- 아닙니다. 서버는 정상인데 분류나 답변이 틀려지는 경우가 있습니다. 정답지로 정기 재측정한 정확도와 담당자 수정률을 따로 감시해야 합니다.
- AI 에이전트 운영비는 어떻게 정해지나요?
- 대응 시간대, 대응 시작 목표 시간, 보고 주기, 품질 재측정 주기, 연동 시스템 수가 정합니다. 모델 사용료는 사용량 기반이므로 운영비와 따로 적어 받으세요.
- 운영 보고에 사람 검토 시간도 넣어야 하나요?
- 넣는 것이 좋습니다. Anthropic의 2026년 10월 내부 보고서에서 대화형 에이전트 세션 시간의 약 80%가 사람 입력을 기다리는 시간이었습니다. 검토 대기 건수와 대기 시간, 검토에 든 사람 시간을 처리량과 함께 보고받으면 병목이 어디인지 보입니다.