구축 업체가 말한 AI 모델을 정말 쓰고 있나: Anthropic FlashProve(증명 가능한 추론) 연구로 본 계약·검수의 모델 확인법

AI 에이전트 구축 업체가 제안서에 적은 모델을 운영에서도 그대로 쓰는지는 지금 답의 품질만 보고는 확인할 수 없습니다. Anthropic도 2026년 11월 2일 공개한 연구 글에서 "Judging from the model’s output alone is unreliable, even if it produces high-quality responses."라고 적었습니다. 그래서 지금 회사가 할 수 있는 일은 계약에 모델 이름과 버전, 호출 경로를 적고 호출 기록과 청구 내역에서 모델별 사용량을 받고 같은 정답지로 주기적으로 다시 시험하는 것입니다. 응답마다 모델을 증명하는 기술(FlashProve)은 아직 연구 단계라 계약 조건으로 요구할 때가 아닙니다.

FlashProve는 무엇을 공개했나

Anthropic 프런티어 레드팀은 EPFL·MIT 연구자들과 함께 쓴 글에서 증명 가능한 추론(provable inference) 시스템 FlashProve를 공개했습니다. 모델 제공자가 가중치에 대한 약속값을 먼저 공개하고 응답마다 그 모델이 냈다는 짧은 증명을 붙이면, 사용자는 가중치를 보지 않고도 응답을 검증할 수 있습니다. 증명은 가중치 내용을 드러내지 않습니다. Anthropic은 글, 기술 보고서, 프로토콜 명세, 증명기·검증기 코드, Lean 형식 증명을 Apache 2.0 라이선스로 GitHub에 공개했습니다.

Anthropic이 든 사례 중 회사와 가까운 것은 두 가지입니다. 하나는 라우팅 서비스가 비용 때문에 몰래 다른 모델로 바꾸는 경우입니다. 다른 하나는 "이 코드는 최신 보안 모델로 점검했다"처럼 누군가 어떤 모델로 일을 했다고 주장하는 경우입니다. Anthropic은 채팅 기록을 공개해도 더 싼 모델이나 성능을 낮춘 모델로 만들었을 수 있어 완전한 보증이 되지 않는다고 적었습니다.

지금 바로 쓸 수 있나

아직은 아닙니다. Anthropic은 이 글이 완성된 연구가 아니라 중간 진행 상황이라고 밝혔습니다. 측정치는 4비트로 양자화한 Llama 4 Maverick(4,000억 파라미터 전문가 혼합 모델) 기준입니다. H100 GPU 한 장이 초당 약 110토큰 분량의 증명을 만들었고 1,024토큰 요청 하나의 증명 크기는 약 19MB였습니다. 모델을 vLLM으로 돌릴 때보다 GPU 시간이 약 70~95배 듭니다. 증명은 정수로 바꾼 모델의 그리디 디코딩을 대상으로 하므로 일반적인 부동소수점 추론이나 샘플링한 응답과는 어긋날 수 있고, 전문가 혼합 구조를 전제로 합니다. 빠른 실행 코드와 Lean 증명, 논문이 서로 일치한다는 보장도 아직 없다고 적었습니다.

Anthropic은 이와 별도로 자사 추론 트래픽에 서명하고 신뢰할 수 있는 서버에서 추론을 다시 계산하는 프로젝트로, 2026년 9월 30일까지 시제품을 만들겠다는 공개 목표를 달성했다고 밝혔습니다. 공급사 안에서는 이런 확인이 시작됐지만 고객이 응답마다 직접 검증하는 단계는 아닙니다.

같은 모델 이름이라도 결과가 다를 수 있다

모델을 바꿔치기하지 않아도 문제는 생깁니다. 문샷AI는 Kimi Vendor Verifier를 공개하면서 공식 API와 제3자 API의 평가 결과가 크게 달랐고, 여러 인프라 제공자를 시험해 보니 이런 차이가 널리 퍼져 있었다고 밝혔습니다. 원인으로는 디코딩 파라미터를 잘못 쓴 경우를 먼저 들었습니다. 그래서 이 도구는 파라미터 검사, 긴 출력, 도구 호출 일관성 같은 시험으로 제공 경로를 점검합니다. 같은 오픈 웨이트 모델이라도 어느 경로로 호출하느냐에 따라 결과가 달라질 수 있습니다.

회사가 정할 것

• 모델 명세: 업무별로 쓸 모델 이름과 버전, 호출 경로(공급사 직접, 클라우드 마켓, 라우팅 서비스)를 계약 부속서에 적습니다.
• 변경 통지: 모델이나 경로를 바꾸기 전에 알리고 같은 정답지로 다시 시험한 결과를 함께 내게 합니다.
• 기록 받기: 월 보고에 모델별 호출 수와 사용료를 넣고, 가능하면 모델 계약과 청구서를 회사 명의로 둡니다.
• 재시험 주기: 분기마다, 그리고 품질이 떨어진 것 같을 때 같은 정답지로 다시 잽니다.
• 주장 확인: "최신 모델로 점검했다"는 보고에는 쓴 모델 이름·날짜·호출 기록을 함께 달라고 합니다.

구축 업체에 물을 질문

• 업무별로 어떤 모델과 버전을 쓰나요? 비용을 줄이려고 작은 모델로 넘기는 규칙이 있다면 무엇인가요?
• 모델을 공급사에서 직접 호출하나요, 라우팅 서비스나 다른 클라우드를 거치나요?
• 월 보고에 모델별 호출 수와 사용료가 들어가나요? 원본 호출 기록을 받을 수 있나요?
• 모델이나 경로를 바꿀 때 언제 알리고, 어떤 정답지로 다시 시험하나요?
• 오픈 웨이트 모델을 쓴다면 제공 경로가 공식 구현과 같은 결과를 내는지 어떻게 점검했나요?

노벤티스는 어떻게 다루나

노벤티스는 특정 모델에 묶지 않고 평가 체계로 모델을 바꿔 가며 검증합니다. 업무별 입력·출력·승인 규칙과 실패 시 사람에게 넘기는 조건을 먼저 정하고 과거 처리 사례로 만든 정답지로 결과를 잽니다. 위 표와 점검 항목은 공개된 1차 자료를 바탕으로 정리한 일반 원칙이며 노벤티스의 특정 사례가 아닙니다. 첫 프로젝트는 접점 하나를 대상으로 4~8주 안에 PoC까지 진행하고 범위와 비용은 진단 미팅 후 서면 견적으로 정합니다.

이 글이 맞는 독자: AI 에이전트 구축 제안서와 운영 계약을 비교하면서 업체가 어떤 모델을 쓰는지 확인할 방법을 찾는 IT·구매 책임자입니다.