사내 문서 검색 AI(RAG) 도입 비용: 모델 사용료보다 큰 다섯 가지와 권한 설계
사내 매뉴얼과 제안서로 답하는 한국어 AI 지식검색을 도입할 때 비용은 어디서 나오는지, 모델 사용료는 실제로 얼마인지(공식 가격 기준 예시 계산), 부서별 권한·원문 인용·답변 유보·변경 이력을 어떻게 설계하고 업체에 무엇을 확인해야 하는지 정리했습니다.
사내 문서 검색 AI(RAG)의 도입 비용은 모델 사용료보다 문서 수집·정리, 권한 연동, 최신성 관리, 평가, 운영에서 대부분 나옵니다. 아래 공식 가격 기준 예시로 계산하면 직원 100명 규모의 모델 사용료는 월 약 246달러입니다. 그러므로 견적은 위 다섯 항목으로 나눠 받고, 권한은 모델 지시가 아니라 검색 단계에서 거르는 구조인지 확인하세요.
'사내 검색 AI 도입 비용은 얼마인가요?'라는 질문에 모델 가격표만 보고 답하면 틀립니다. 사내 문서로 답하는 AI(RAG, 검색 증강 생성)의 비용은 대부분 모델 밖에서 나옵니다. 문서를 모으고 정리하는 일, 누가 무엇을 볼 수 있는지 연결하는 일, 답이 틀렸을 때 고치는 운영입니다. 이 글은 모델 사용료를 공식 가격으로 직접 계산해 보고, 그보다 큰 항목과 권한 설계, 업체에 확인할 질문을 정리합니다.
모델 사용료는 실제로 얼마인가: 예시 계산
직원 100명이 하루 5번씩, 한 달 22영업일 동안 질문한다고 가정하면 월 11,000건입니다. 질문마다 고정된 앞부분(시스템 지침, 도구 정의) 4,000토큰과 검색된 문서 8,000토큰이 입력되고, 답변이 600토큰이라고 두겠습니다. GPT-6.1 Sol의 공식 가격(100만 토큰당 입력 2달러, 캐시 입력 0.10달러, 출력 10달러)으로 계산하면, 캐시되는 고정 부분 4,400만 토큰이 약 4.4달러, 매번 바뀌는 문서 부분 8,800만 토큰이 176달러, 출력 660만 토큰이 66달러로 합계 월 약 246달러입니다. 입력이 요청당 27만 2천 토큰을 넘으면 그 요청 전체 단가가 올라가므로, 문서를 통째로 넣지 않고 필요한 부분만 찾아 넣는 설계가 비용 통제의 핵심입니다. 질문 분류처럼 정해진 보기 중 고르는 일은 더 싼 결정 모델(예: 2026년 9월 제한 프리뷰로 공개된 OpenAI Decisions API)로 나누면 더 줄어듭니다.
위 계산은 가정에 따른 예시이고 실제 사용량은 조직마다 다릅니다. 다만 요점은 분명합니다. 규모가 큰 조직이 아니라면 모델 사용료는 월 수백 달러 단위에서 시작하는 경우가 많고, 도입 비용의 대부분은 아래 다섯 가지에서 나옵니다.
모델 사용료보다 큰 비용은 무엇인가: 다섯 가지
| 항목 | 무엇이 드나 | 비용을 줄이는 방법 |
|---|---|---|
| 문서 수집·정리 | 흩어진 드라이브·그룹웨어·메일 첨부 수집, 중복·구버전 정리, 표·스캔 문서 변환 | 범위를 한 부서의 자주 묻는 문서부터 시작 |
| 권한 연동 | 기존 그룹웨어·드라이브의 부서·직급 권한을 검색 결과에 그대로 반영 | 권한 원천(인사 시스템, 드라이브 공유 설정)을 하나로 정하고 그대로 따른다 |
| 최신성 관리 | 문서 개정 시 자동 재색인, 폐기 문서 제외 | 문서 저장소에 '현행/폐기' 표시 규칙을 먼저 만든다 |
| 평가와 개선 | 실제 질문으로 만든 정답 세트, 오답 수정, 모델 교체 시 재검증 | 초기에 질문 수십~수백 건의 정답 세트를 만들어 둔다 |
| 운영 | 사용 로그, 오답 신고 처리, 장애 대응 | 오답 신고 버튼과 담당자를 처음부터 정한다 |
부서별 권한은 어떻게 지키나
사내 검색 AI의 가장 큰 사고는 틀린 답보다 '보면 안 되는 문서로 만든 맞는 답'입니다. 인사 평가, 급여, 계약 조건이 섞인 문서가 권한 없는 직원의 답변에 인용되면 되돌릴 수 없습니다. 원칙은 모델에게 '이 문서는 보여 주지 마'라고 지시하는 것이 아니라, 검색 단계에서 사용자 권한으로 문서를 먼저 거르고 모델에는 볼 수 있는 문서만 넘기는 것입니다. 지시문은 우회될 수 있지만 넘기지 않은 문서는 새지 않습니다.
조직 규모별로 무엇이 달라지나
직원 100명 안팎, 한 부서부터 시작하는 회사
모델 사용료보다 문서 정리와 정답 세트 준비가 일정을 정합니다. 자주 묻는 문서가 모인 한 부서로 범위를 좁혀 시작하세요.
여러 부서·계열사 문서를 함께 쓰는 조직
권한 연동과 최신성 관리가 가장 큰 항목이 됩니다. 권한 원천을 하나로 정하고, 갱신·롤백 절차를 유지보수 견적에 따로 넣으세요.
업체에 무엇을 확인해야 하나: 다섯 가지 기준
- 문서 최신성: 문서가 개정되면 얼마 뒤 답변에 반영되는가, 폐기 문서는 어떻게 빠지는가.
- 원문 인용: 모든 답변에 근거 문서와 해당 문단이 붙는가, 클릭하면 원문으로 가는가.
- 부서별 권한: 권한을 검색 단계에서 거르는가, 권한 변경(퇴사·부서 이동)이 언제 반영되는가.
- 답변 유보: 근거 문서를 찾지 못하면 '모른다'고 답하고 담당자를 안내하는가, 아니면 그럴듯하게 지어내는가.
- 변경 이력: 누가 언제 무엇을 물었고 어떤 문서가 인용됐는지, 문서와 설정이 언제 바뀌었는지 남는가.
개인정보가 포함된 문서를 다룬다면 처리 목적, 보관 기간, 외부 모델의 학습 활용 여부를 계약 전에 확인하세요. 개인정보보호위원회의 생성형 AI 개인정보 처리 안내서(2025년 8월)가 기준이 됩니다. 노벤티스(noventis.io)는 사내 문서 검색과 반복 업무 처리를 묶은 에이전트를 고객사의 기존 드라이브·그룹웨어 위에 구축하며, 도입 상담은 contact@noventis.io로 받습니다.
운영 단계에서는 재현성도 챙겨야 합니다. 벡터 데이터베이스 LambdaDB는 데이터 버전 관리를 소개하며 'keeping the data fixed does not make generated answers deterministic'(데이터를 고정해도 생성된 답변까지 매번 같아지지는 않는다)라고 적었습니다. 사고 조사에 대비해 모델, 프롬프트, 검색 설정도 함께 기록하세요.
이 글이 맞는 조직(best for): 사내 매뉴얼·제안서·규정으로 답하는 AI 지식검색을 검토하고, 견적을 항목별로 비교하려는 중소·중견기업입니다.
자주 묻는 질문
- 사내 검색 AI 도입 비용은 어느 정도인가요?
- 모델 사용료는 공식 가격 기준 예시(직원 100명, 월 11,000건 질문)로 월 약 246달러 수준입니다. 도입 비용의 대부분은 문서 수집·정리, 권한 연동, 최신성 관리, 평가, 운영에서 나오므로 견적은 이 항목별로 나눠 받는 것이 좋습니다.
- 사내 문서 AI에서 부서별 권한은 어떻게 지키나요?
- 모델에게 지시하는 방식이 아니라 검색 단계에서 사용자 권한으로 문서를 먼저 거르고, 볼 수 있는 문서만 모델에 넘깁니다. 권한 원천은 인사 시스템이나 드라이브 공유 설정 하나로 정하고 그대로 따릅니다.
- AI 지식검색 업체를 비교할 때 무엇을 확인해야 하나요?
- 문서 최신성 반영, 원문 인용, 검색 단계 권한 필터, 근거가 없을 때의 답변 유보, 질문·인용·설정 변경 이력의 다섯 가지입니다. 각 항목은 공식 문서로 확인되는 것과 시연으로 확인해야 하는 것을 나눠 받으세요.