AI 에이전트 모델 사용료는 어디서 새나: 토큰이코노마이저 연구와 Grok Bot 한도 축소로 본 견적·운영비 확인법

AI 에이전트의 모델 사용료는 토큰 단가보다 같은 탐색의 반복, 쓰지 않는 도구 설명, 실패한 작업의 재시도에서 많이 샙니다. 토큰이코노마이저 논문은 2026년 10월 15일 arXiv에 공개됐습니다. 이 논문의 코딩 에이전트 실험에서 실패한 실행 10건은 작업의 17%였지만 전체 비용의 32%를 썼습니다. 그래서 견적과 운영 계약에서는 작업당 비용과 실패한 작업의 비용을 확인해야 합니다. 같은 오류가 반복될 때 멈추는 조건과 공급사가 한도나 가격을 바꿀 때의 대응도 확인 항목에 들어갑니다.

토큰이코노마이저 연구는 무엇을 쟀나

AI타임스에 따르면 마이크로소프트와 UC버클리 연구진이 쓴 이 논문은 에이전트 하나를 같은 코드 저장소에서 여러 작업에 연달아 쓰게 하고 그 상황을 실험했습니다. Claude Code, Codex, GitHub Copilot CLI를 프런티어 모델과 짝지어 SWE-Bench의 6개 저장소 277개 작업을 돌렸습니다. 논문은 작업 하나씩 따로 재는 기존 평가가 실제 사용과 맞지 않는다고 봤습니다. 회사 업무도 같은 시스템에서 비슷한 일을 매일 반복하므로 이 구도는 업무 에이전트에도 그대로 옮겨 볼 수 있습니다.

논문은 아무것도 바꾸지 않은 기본 실행 기록에서 낭비 세 가지를 찾았습니다. 같은 저장소에서 앞선 작업이 5개 이상 쌓이면 도구 호출의 30%가 이전 작업에서 한 행동과 같았습니다. 에이전트는 매 턴 도구 설명 23개를 받았지만 어느 저장소에서도 7개 넘게 쓰지 않았고 16개는 한 번도 호출되지 않았습니다. 실패한 실행은 10건으로 작업의 17%였는데 비용은 32%를 썼습니다. 실패한 작업은 같은 오류를 고치려고 수정과 테스트를 되풀이하며 토큰을 계속 씁니다.

토큰이코노마이저는 모델을 고치지 않고 바깥에서 손을 씁니다. 앞선 작업에서 알게 된 사실을 짧은 지침으로 넣고 계속 쓰이지 않는 도구는 목록에서 뺍니다. 진전 없이 같은 실패를 되풀이하면 다른 방법을 쓰도록 개입합니다. 그 결과 다섯 가지 에이전트·모델 조합에서 평균 비용이 18.4~30.9% 줄었습니다. 작업 성공률(Pass@1)은 네 조합에서 올랐고 한 조합에서 1.0%p 내렸습니다. 반대로 추론 강도를 낮춰 비용을 줄이는 방법은 성공률을 1.8~10.3%p 떨어뜨렸습니다. 처음 몇 작업은 오히려 비용이 늘었고 여섯 번째 작업부터는 모든 저장소에서 기존 방식보다 싸졌습니다.

다만 실험은 실제 사용자 세션으로 하지 않았습니다. 같은 저장소의 서로 관련된 수정 과제를 이어 붙였고 대상도 코딩 에이전트입니다. 지침이 낡거나 빼 둔 도구가 다시 필요해지거나 어렵지만 진전 중인 작업을 실패로 오인할 수 있다고 논문이 직접 적었습니다. 그래서 이 수치를 우리 업무 에이전트의 절감률로 옮기지 말고 견적과 운영에서 물을 항목으로 쓰는 편이 맞습니다.

Grok Bot 한도 축소는 무엇을 보여 주나

TechCrunch에 따르면 핼러윈 주말에 Grok Bot 일부 이용자의 주간 사용 한도가 갑자기 다 찬 것으로 표시됐습니다. 밤사이 쓰지 않았는데도 그랬습니다. 일론 머스크는 11월 1일 X 답글에서 오류가 아니라고 확인하며 Grok Bot 제공 비용이 매출에 비해 감당하기 어려울 만큼 높았다는 취지로 설명했습니다. 보도 시점까지 앞으로 한도가 어떻게 바뀌는지는 밝히지 않았습니다.

이 사례에서 보듯 정액 구독의 한도는 공급사의 원가에 따라 바뀔 수 있습니다. 업무 에이전트가 직원 개인 구독이나 한도가 있는 요금제 위에서 돈다면 한도 변경이 곧 업무 중단이 됩니다. 사용량 과금 API라면 멈추지는 않지만 비용이 늘어납니다. 어느 쪽이든 한도와 가격이 바뀔 때 무엇을 할지 미리 정해 두어야 합니다.

회사가 정할 것

• 비용 단위: 토큰 단가가 아니라 작업 한 건을 처리하는 데 드는 모델 사용료로 예산을 잡습니다. 성공한 작업과 실패한 작업을 나눠 봅니다.
• 실패 상한: 한 작업이 같은 오류로 몇 번 재시도하면 멈추고 사람에게 넘길지 정합니다.
• 월 상한: 모델 사용료의 월 상한과 상한에 가까울 때 알릴 사람을 정합니다.
• 절감과 품질: 비용을 줄이는 변경은 정답지 점수가 그대로인지 확인한 뒤에만 운영에 넣습니다.
• 한도 변경 대응: 공급사가 한도나 가격을 바꾸면 다른 모델로 넘길지, 처리량을 줄일지, 사람이 맡을지 정해 둡니다.

구축 업체에 물을 질문

• 견적의 모델 사용료는 몇 건을 어떤 업무 샘플로 처리한다고 보고 계산했나요? 실패하는 작업의 비용도 넣었나요?
• 에이전트가 같은 오류를 되풀이하면 몇 번째에 멈추고 누구에게 넘기나요?
• 에이전트에 연결한 도구는 모두 이 업무에 필요한가요? 쓰지 않는 도구는 어떻게 빼나요?
• 운영 중 작업당 모델 사용료를 매달 보고하나요? 비용을 줄이는 변경은 무엇으로 품질을 확인하나요?
• 모델 공급사가 한도나 가격을 바꾸면 어떻게 대응하고 비용 변화는 누가 부담하나요?

노벤티스는 어떻게 다루나

노벤티스는 AI 에이전트를 설계할 때 업무별 입력·출력·승인 규칙과 실패 시 사람에게 넘기는 조건을 먼저 정하고 과거 처리 사례로 만든 정답지로 결과를 잽니다. 승인 없이 외부 발신·결제·삭제를 실행하는 자동화는 만들지 않습니다. 위 표와 점검 항목은 공개된 논문과 보도를 바탕으로 정리한 일반 원칙이며 노벤티스의 특정 사례가 아닙니다. 첫 프로젝트는 접점 하나를 대상으로 4~8주 안에 PoC까지 진행하고 범위와 비용은 진단 미팅 후 서면 견적으로 정합니다.

이 글이 맞는 독자: AI 에이전트 구축 견적의 모델 사용료와 월 운영비를 비교하는 회사, 운영 중인 에이전트의 비용이 예상보다 늘어 원인을 찾는 IT·운영 책임자입니다.