키워드2분 읽기Noventis

Gemini 4 Pro는 아직 없다: 루머의 시대에 모델 교체를 설계하는 법

Google은 Gemini 4를 준비 중이라고만 밝혔고, 10월 공개설과 성능 유출은 모두 비공식입니다. 새 모델이 나올 때마다 흔들리지 않으려면 처음부터 '교체 가능하게' 만들어야 합니다. 노벤티스가 모델 교체에 쓰는 회귀 세트와 평가 기준을 설명합니다.

고정 프레임에 교체형 모델 카트리지를 꽂고 회귀 테스트 장치의 통과·실패 램프와 스톱워치로 시험하는 테스트 벤치. 모델 교체 기준.
고정 프레임에 교체형 모델 카트리지를 꽂고 회귀 테스트 장치의 통과·실패 램프와 스톱워치로 시험하는 테스트 벤치. 모델 교체 기준.

2026년 9월 현재 Google이 공식적으로 말한 것은 두 가지뿐입니다. 7월 Gemini 3.6 Flash 발표문에서 '가장 야심찬 사전학습을 시작했다'고 한 것, 그리고 CEO가 실적 발표에서 코딩과 자율 에이전트를 강조한 것입니다. 10월 공개설, 25만 토큰 출력, 수백만 토큰 컨텍스트, 경쟁 모델을 앞선다는 유출 벤치마크는 전부 비공식 소스입니다. 모델 카드도, 가격도, API도 없습니다.

루머에 흔들리지 않는 유일한 방법

새 모델이 나올 때마다 프롬프트를 다시 짜고 결과를 눈으로 확인하는 팀은 매번 같은 비용을 냅니다. 반대로 처음부터 모델을 교체 가능한 부품으로 설계한 팀은 새 모델을 '후보'로 놓고 같은 시험을 치르게 하면 됩니다. 시험은 회귀 세트입니다. 실제 업무 데이터에서 뽑은 입력과 사람이 확인한 기대 출력, 그리고 통과 기준입니다.

노벤티스가 모델 교체에 쓰는 기준

  • 정확도: 회귀 세트 통과율. 기존 모델보다 낮으면 가격이 아무리 좋아도 바꾸지 않습니다.
  • 안전: 답 유출, 범위 밖 행동, 형식 위반 같은 실패 유형별 회귀. 자사 제품에서는 모델을 바꿀 때마다 같은 시나리오를 다시 돌립니다.
  • 비용과 지연: 같은 입력에 드는 토큰과 응답 시간. 토크나이저가 바뀌면 토큰 수가 달라지므로 기준선을 다시 잡습니다.
  • 운영: 지역 가용성, 데이터 보관 정책, 속도 제한. 한국 고객사에는 데이터 위치와 보관 조건이 성능보다 먼저인 경우가 많습니다.

Gemini 4 Pro가 나오면 노벤티스는 이 기준으로 시험을 치르게 할 것입니다. 통과하면 바꾸고, 아니면 안 바꿉니다. 유출 벤치마크는 시험 응시 자격일 뿐 합격증이 아닙니다.

이제, 다음 단계로나아가세요.

어떤 일이 반복되는지 알려주세요.
사람이 더 중요한 일에 집중할 방법을 함께 찾겠습니다.

프로젝트 문의하기