사내 문서 AI(RAG) 운영: 문서가 바뀔 때 갱신·버전·롤백은 어떻게 하고 유지보수 견적엔 무엇을 넣나
사내 문서 검색 AI는 만든 뒤가 더 중요합니다. 문서 개정·폐기, 권한 변경, 모델 교체, 잘못된 갱신 때 무엇이 위험한지, 색인 버전 관리와 롤백을 어떻게 설계하는지, 유지보수 견적에 어떤 항목과 책임자를 적어야 하는지 정리했습니다.
사내 문서가 바뀌면 운영 중인 검색 색인과 별도로 새 색인을 만들어 갱신하고, 미리 만든 질문 세트로 시험한 뒤 바꿔 끼워야 합니다. 문제가 생기면 직전 버전으로 바로 되돌릴 수 있어야 합니다. 그래서 RAG 유지보수 견적에는 재색인 주기, 버전 보관 기간, 회귀 평가, 롤백 절차가 각각의 책임자와 함께 항목으로 들어가야 합니다.
도입 견적에서 자주 빠지는 것이 이 '운영 후' 비용입니다. 처음 색인을 만들었을 때 잘 나오던 답변도 규정이 바뀌고 몇 달이 지나면 구버전 문서를 인용하기 시작합니다. 반대로 급하게 새 문서를 반영했다가 검색 품질이 떨어졌는데 되돌릴 방법이 없으면, 원인을 찾는 동안 서비스 전체가 흔들립니다.
문서가 바뀔 때 검색 색인은 어떻게 갱신하나: 버전 관리 사례
벡터 데이터베이스 LambdaDB는 2026년 9월 23일 데이터 버전 관리 기능을 공개했습니다. 갱신은 별도 브랜치에서 준비하고 시험하며, 검증된 상태를 태그로 고정하고, 앱이 읽는 이름(별칭)을 새 태그로 옮겨 배포합니다. 롤백은 별칭을 이전 태그로 되돌리는 것입니다. 회사의 표현으로는 'Prepare changes without changing what users read'(사용자가 읽는 것은 그대로 둔 채 변경을 준비한다)입니다. 데이터를 고정해도 생성된 답변까지 매번 같아지지는 않는다는 한계도 스스로 밝혀 두었습니다. 특정 제품을 권하려는 것은 아닙니다. 같은 원리는 색인 두 벌과 전환 스위치만 있으면 대부분의 저장소에서 구현할 수 있습니다. 이 사례는 업체에 무엇을 물어야 하는지 알려 준다는 점에서 참고할 만합니다.
운영 중 무엇이 위험하고 어떤 장치가 필요한가
| 운영 상황 | 위험 | 필요한 장치 | 견적에 넣을 항목 |
|---|---|---|---|
| 문서 개정 | 구버전 문서를 근거로 답한다 | 개정 감지 후 변경분 재색인, 현행·폐기 표시 | 재색인 주기와 방식(전체·변경분) |
| 문서 폐기 | 폐기된 규정이 계속 인용된다 | 폐기 표시 문서를 검색 대상에서 제외 | 폐기 반영 시간 목표 |
| 권한 변경 | 퇴사자·부서 이동자에게 보면 안 되는 문서가 검색된다 | 권한 원천과 동기화, 검색 단계 필터 | 권한 반영 주기, 변경 기록 |
| 임베딩·모델 교체 | 같은 질문에 다른 문서가 검색되고 답 품질이 바뀐다 | 새 색인을 따로 만들어 질문 세트로 비교한 뒤 전환 | 교체 시 회귀 평가 비용과 책임자 |
| 잘못된 갱신 배포 | 검색 품질이 갑자기 떨어진다 | 버전 고정과 즉시 롤백 | 롤백 절차, 버전 보관 기간 |
| 오답 신고 | 같은 오답이 반복된다 | 신고 버튼, 담당자, 질문 세트에 사례 추가 | 월 처리 범위와 처리 기한 |
갱신과 롤백은 어떤 절차로 하나
- 문서 저장소마다 '현행·폐기'와 개정일을 판단할 기준을 먼저 정한다.
- 운영 색인과 갱신 색인을 분리한다. 운영 중인 색인을 그 자리에서 고치지 않는다.
- 실제 질문으로 만든 질문 세트(정답 문서 포함)로 새 색인을 시험한다. 오답 신고가 들어올 때마다 질문 세트를 늘린다.
- 전환 전후로 같은 질문 세트 결과를 비교해 떨어진 질문이 없을 때만 바꿔 끼운다.
- 직전 버전을 일정 기간 보관하고, 롤백을 누가 얼마나 빨리 할 수 있는지 문서로 남긴다.
- 어떤 답이 어느 색인 버전에서 나왔는지 로그에 남긴다. 그래야 사고를 조사하고 재현할 수 있다.
- 개인정보가 들어간 문서는 보관 기간이 지나면 이전 버전에서도 함께 지워지는지 확인한다.
조직 규모별로 무엇이 달라지나
한 부서·한 저장소로 시작하는 회사
개정이 잦지 않다면 주기적인 전체 재색인과 직전 버전 보관만으로 충분한 경우가 많습니다. 시간은 질문 세트를 먼저 만드는 데 쓰세요.
여러 부서·여러 저장소를 잇는 회사
권한 원천이 여럿이면 권한 동기화와 변경 기록이 가장 큰 운영 항목이 됩니다. 저장소별로 반영 시간 목표를 따로 정하세요.
규정·계약 문서가 자주 바뀌는 조직
어떤 답이 어느 문서 버전에서 나왔는지 재현할 수 있어야 합니다. 버전 보관 기간을 내부 감사 요구에 맞춰 정하세요.
유지보수 비용과 기간은 무엇이 좌우하나
운영비는 문서 양보다 '얼마나 자주, 얼마나 여러 곳에서 바뀌는가'가 정합니다. 연결된 문서 저장소 수, 개정 빈도, 권한 원천의 수(인사 시스템, 드라이브 공유 설정 등), 질문 세트 규모, 버전 보관 기간이 주된 변수입니다. 모델 사용료는 공식 가격으로 계산해 보면 생각보다 작은 경우가 많습니다. 직원 100명이 하루 5번씩 묻는 예시(월 11,000건)에서 GPT-6.1 Sol 공식 가격 기준 모델 사용료는 월 약 246달러였습니다. 계산 과정은 '사내 문서 검색 AI 도입 비용' 글에 있습니다. 견적서에서는 재색인, 회귀 평가, 롤백을 각각 누가 하고 어디까지가 기본 범위인지 나눠 받으세요.
노벤티스가 하는 일
노벤티스는 RAG, LLM 오케스트레이션, 평가와 가드레일을 묶어 사내 문서 검색과 반복 업무 처리를 고객사의 기존 드라이브·그룹웨어 위에 구축합니다. 구축·PoC에서 실제 질문으로 결과를 검토하고 검증된 범위만 운영으로 넘기며, 운영·고도화 단계에서 같은 기준으로 다시 잽니다. 범위·기간·비용은 연결할 저장소와 권한 구조를 확인하는 진단 미팅 후 서면 견적으로 드립니다.
이 체크리스트가 맞는 조직(best for): 이미 사내 문서 AI를 쓰고 있거나 도입 견적을 받는 중이고, 규정·매뉴얼이 분기마다 바뀌는 조직입니다.
자주 묻는 질문
- 사내 문서가 바뀌면 RAG 답변에는 언제 반영되나요?
- 재색인 방식과 주기에 따라 다릅니다. 변경분만 다시 색인하면 빨리, 전체를 다시 만들면 늦게 반영됩니다. 반영 시간 목표와 폐기 문서 제외 방식을 계약서에 적어 두세요.
- RAG 갱신 뒤 답변 품질이 떨어지면 어떻게 되돌리나요?
- 운영 색인과 갱신 색인을 분리하고 직전 버전을 보관해 두면, 앱이 읽는 대상을 이전 버전으로 바꾸는 것만으로 되돌릴 수 있습니다. 전환 전에는 같은 질문 세트로 비교해 떨어진 질문이 없을 때만 바꿉니다.
- RAG 유지보수 견적에는 무엇이 들어가야 하나요?
- 재색인 주기와 방식, 폐기·권한 변경 반영 시간, 모델·임베딩 교체 시 회귀 평가, 버전 보관과 롤백 절차, 오답 신고 처리 기한입니다. 각 항목의 책임자와 기본 범위를 나눠 받으세요.