같은 AI 모델이면 어디서 사든 똑같을까?

같은 AI 모델이라도 어디에서 돌리느냐에 따라 결과가 달라질 수 있다. 실제 시험에서는 같은 모델의 가격이 최대 8.8배, 응답 시간이 최대 68배까지 차이 났다. 비싼 곳이 더 정확하다는 관계도 거의 없었다.

모델 이름이 같으면 정말 같은 AI일까?

라마·큐웬·딥시크·미스트랄·젬마 같은 공개 모델은 여러 회사가 가져와 자기 서버에서 운영할 수 있다. 그래서 같은 모델 이름을 내건 서비스라도 실제 운영 방식은 서로 다를 수 있다.

연구진은 공개 모델 6개를 여러 회사에서 실제로 사용해 봤다. 모델을 줄여 싣는 방식인 양자화, 요청을 처리하는 방식, 시간 초과 기준, 서비스 안정성 등이 회사마다 달랐다.

어려운 문제로 갈수록 차이가 커졌다. 예를 들어 라마 3.3 70B의 여러 단계 수학 문제는 회사에 따라 정답률이 40~75%로 갈렸다.

쉬운 분류 문제에서는 여러 회사가 모두 100%를 내기도 했다. 하지만 여러 단계를 거쳐 답을 찾아야 하는 문제에서는 같은 모델인데도 차이가 크게 벌어졌다.

연구진은 같은 양자화 표시를 한 서비스 두 곳도 정답률이 크게 달랐다고 적었다. 따라서 「8비트」나 「16비트」 같은 표시만 보고 품질을 판단하기도 어렵다.

비싼 서비스를 사면 더 정확할까?

가격과 정답률을 비교한 결과는 거의 관계가 없었다. 정답률과 가격의 상관은 +0.05였고, 가용성과 가격의 상관은 0.00이었다.

반면 가격과 응답 시간의 상관은 −0.61이었다. 21개 비교 구간에서 모두 음수였으므로, 이 시험에서는 비싼 서비스일수록 빠른 경향이 나타났다.

그래도 비싼 곳을 고르면 안전하다고 볼 수는 없다. 항상 가장 비싼 곳을 선택한 방식은 가장 싼 곳의 3.67배를 쓰면서도 17%의 칸에서 기준선 아래로 떨어졌다.

항상 가장 싼 곳만 고르면 비용은 가장 낮았지만 28%의 칸이 기준선 아래였다. 반대로 여러 회사를 시험한 뒤 품질이 비슷하고 가용성이 90%를 넘는 곳 가운데 가장 싼 곳을 고르면 비용은 1.57배, 평균 정답률은 94%, 기준선 아래 칸은 0%였다.

다만 싼 곳이 항상 빠른 것은 아니다. 품질을 통과한 곳 가운데 가장 싼 곳은 가장 빠른 곳보다 응답이 느린 경우가 있었고, 상위 5% 응답 시간의 중앙값 차이는 7.8배였다.

한 번 시험해서 괜찮으면 계속 써도 될까?

그렇지는 않다. 첫 번째 이유는 작업마다 결과가 다르기 때문이다.

어떤 라마 3.3 70B 서비스는 지식 문제에서는 다른 회사들과 비슷했지만 여러 단계 추론에서는 크게 무너졌다. 그래서 한 종류의 질문만 시험하고 전체 서비스를 판단하면 위험할 수 있다.

두 번째 이유는 시간이 지나면서 결과가 바뀔 수 있기 때문이다. 연구진은 처음 측정한 뒤 13일, 43일에 다시 측정했고, 게시된 가격은 거의 그대로였는데도 같은 품질 중 가장 싼 회사가 바뀐 칸이 있었다.

원인은 가격만이 아니었다. 가용성 회복, 요청 수 제한, 서비스 중단, 예고 없는 품질 하락 등이 영향을 줬다.

따라서 새로운 회사가 더 싸졌다고 바로 바꾸는 방식보다는, 기존에 쓰던 곳을 유지하면서 새 서비스를 같은 질문으로 다시 시험하는 방식이 필요하다.

다른 회사들도 같은 문제를 확인했을까?

이 문제는 한 연구에서만 나온 것은 아니다. 모델을 만든 회사와 AI 중개 서비스도 외부에서 운영되는 같은 모델의 품질 차이를 따로 측정했다.

문트샷AI는 자사 모델 키미 K2를 제공하는 외부 회사들을 시험했다. 2025년 11월 15일 결과에서 도구 호출 형식 정확도가 회사에 따라 100%에서 87.22%까지 달랐고, 일부 외부 서비스는 추론 시험 정답률이 20%포인트 넘게 떨어졌다고 밝혔다.

오픈라우터도 도구 호출 품질이 낮은 회사를 거르는 기능을 내놓았다. 2026년 3월에는 이 기능을 도구를 쓰는 요청에 자동 적용했고, 모델에 따라 도구 호출 오류가 16~88% 줄었다고 발표했다.

다만 이 숫자들은 각 회사가 자기 서비스와 관련해 공개한 자료다. 측정 방법도 앞의 연구와 다르므로 같은 기준으로 직접 비교할 수는 없다.

우리 가게 챗봇은 무엇을 물어봐야 할까?

업체가 「라마 기반」이나 「딥시크 기반」이라고 말할 때 알 수 있는 것은 모델 이름뿐이다. 실제로 어느 회사 서버에서 돌리는지, 어떻게 설정했는지까지 확인해야 한다.

가장 먼저 우리 가게에서 자주 나오는 질문을 적어 두는 것이 좋다. 가격, 영업시간, 예약 방법, 환불 조건처럼 정답이 정해진 질문부터 만들고 사람이 적어 둔 정답과 비교한다.

그다음 질문을 작업별로 나눠 시험한다. 지식 질문에서 잘 답했다고 해서 여러 단계를 거치는 추론 질문까지 잘한다고 볼 수 없기 때문이다.

시험 결과만큼 변경 관리도 확인해야 한다. 파는 회사나 설정이 바뀌었을 때 알려 주는지, 바뀐 뒤 같은 질문으로 다시 시험하는지 확인할 필요가 있다.

새로운 싼 요금제가 나와도 가격만 보고 바로 옮길 이유는 없다. 같은 질문으로 다시 시험해 보고, 필요한 품질과 속도를 만족하는지 확인하는 것이 핵심이다.

이 연구의 범위도 함께 봐야 한다. 공개 모델 6개를 대상으로 했고, 챗GPT나 클로드처럼 만든 회사가 직접 판매하는 모델은 대상이 아니었다.

측정은 한 중개 서비스를 거쳤고, 연구진도 표본 크기와 요청 수 제한, 답 길이 제한, 중개 서비스와 지역의 영향을 한계로 꼽았다. 시험 기간도 43일이었고, 영어 수학·지식·코드·분류가 중심이었다.

따라서 한국어 상담이나 예약 안내 같은 가게 업무에서도 차이가 똑같은 크기로 나타난다고 단정할 수는 없다. 실제로 한국어 가게 질문을 놓고 제공 회사들을 비교한 측정은 아직 없다.

결국 챗봇을 고를 때 모델 이름은 출발점일 뿐이다. 같은 모델이라는 이유만으로 같은 품질이라고 생각하지 말고, 우리 가게에서 실제로 쓰는 질문으로 확인해야 한다.

같이 읽을 글

• 우리 가게 챗봇도 15~27%씩 틀릴까?
• 홈페이지 상담봇이 틀리면 누가 책임질까?
• AI가 고른 광고, 그대로 따라도 될까?
• 우리 가게 정보를 맡길 AI, 무엇을 믿어야 할까?

자료 출처

• You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference(시드니대·존스홉킨스대·스탠퍼드대·홍콩성시대, arXiv 2609.37902, 2026.9)
• 같은 논문 전문 HTML(공개 모델 6개·3회 측정·43일·실제 서비스 36시간 운영)
• K2 Vendor Verifier(문트샷AI★, 2025.11.15 결과, 회사별 요청 약 1,300~2,100건)
• Kimi.ai 공지 — 외부 서비스 추론 정답률 20%포인트 넘게 하락(문트샷AI★, 2025.11)
• Kimi Vendor Verifier 공개 보도(GIGAZINE, 2026.4)
• Provider Variance: Introducing Exacto(오픈라우터★, 2025.10, 모델 5종)
• Auto Exacto: Adaptive Quality Routing, On by Default(오픈라우터★, 2026.3, 약 5분마다 재평가)
• Exacto Variant 문서(오픈라우터★)
• Not Pinning Your OpenRouter Provider Might Invalidate Your Results(LessWrong)