# 싼 AI로 고객 문의를 분류해도 될까?

_확신도가 높다고 그대로 믿으면 안 된다_

> 결정형 AI는 15개 과제 중 14개에서 1등 대형 AI보다 낮았지만 비용은 44분의 1이었다. 확신이 낮은 문장만 대형 AI에 넘기면 비용을 25~50%로 줄일 수 있었다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/cheap-ai-inquiry-sorting-confidence-check
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-02

싼 AI를 고객 문의 분류에 쓰는 것은 가능하다. 다만 「90% 확신」이라는 숫자를 그대로 믿어서는 안 된다. 실제 실험에서 확신도 0.9 이상인 문장의 정답률은 81.5%였고, 감정이나 공감처럼 애매한 분류에서는 확신도가 거의 도움이 되지 않았다.

싼 AI의 확신도는 그대로 믿는 숫자가 아니라, 우리 가게 문의로 직접 맞춰 본 뒤에야 쓸 수 있는 숫자다.

## 싼 AI는 대형 AI보다 얼마나 쌀까?

결정형 AI는 미리 정해 놓은 칸 가운데 하나를 골라 답한다. 「가격 문의」「예약 변경」「불만」처럼 선택지가 정해져 있으면 다른 글을 길게 쓸 필요가 없다.

2026년 9월 뉴욕대 아부다비 연구진은 결정형 AI인 Jev와 대형 AI 19종을 같은 조건에서 비교했다. 7,977개 문장을 18개 분류 과제로 시험했고, 결론을 낸 15개 과제 가운데 14개에서 Jev가 해당 과제의 1등 대형 AI보다 낮은 점수를 받았다.

| 항목 | 결정형 AI(Jev) | 대형 AI 19종 |
|---|---|---|
| 답하는 방식 | 정해진 칸 하나 + 확률 + 확신도 | 글로 답한 뒤 칸을 뽑아냄 |
| 확신도 얻는 법 | 모델이 직접 돌려줌 | 「0~100으로 확신을 말하라」고 따로 물음 |
| 1,000문장 비용(2026.9 실측) | 0.027달러 | 0.043~7.90달러 |
| 7,977문장 전체 비용 | 0.21달러 | 0.34~62.99달러 |
| 가장 잘한 대형 AI 대비 비용 | 중앙값 44분의 1 | — |

Jev의 F1 점수 중앙값은 58.1점이었다. 1등 대형 AI와의 점수 차이는 중앙값 11.6점이었지만, 비용은 중앙값 기준 44분의 1이었다.

## 그럼 싼 AI는 많이 틀리는 걸까?

과제에 따라 차이가 컸다. 감정 분류에서 Jev는 48.4점으로 1등 대형 AI의 61.9점보다 낮았다. 반면 비유 표현 분류에서는 86.3점으로 1등 대형 AI의 92.5점과 차이가 크지 않았다.

특히 독성, 즉 공격적인 말을 찾는 과제에서는 Jev가 50.2점이었다. 무작위로 찍었을 때의 점수가 50.0점이어서 거의 차이가 없었다.

반대로 허위 정보 분류에서는 79.6점, 방언 특징 분류에서는 64.0점을 기록했다. 따라서 「싼 AI는 못 쓴다」가 아니라 「어떤 칸을 나누느냐에 따라 다르다」고 보는 편이 정확하다.

| 과제(문의·후기 분류와 가까운 것) | 무작위로 찍을 때 | Jev | 그 과제 1등 대형 AI |
|---|---|---|---|
| 감정 분류 | 16.7 | 48.4 | 61.9 |
| 공손한지 무례한지 | 33.3 | 57.3 | 67.8 |
| 공격적인 말(독성) | 50.0 | 50.2 | 63.0 |
| 허위 정보 | 50.0 | 79.6 | 83.9 |
| 비유 표현 | 25.0 | 86.3 | 92.5 |
| 공감 | 33.3 | 26.9 | 31.4 |
| 방언 특징 | 3.3 | 64.0 | 59.8 |

## 「90% 확신」이면 90%는 맞을까?

그렇지는 않았다. 확신도 0.9 이상인 문장만 보면 Jev는 전체의 37.6%를 높은 확신으로 분류했고, 그중 실제로 맞힌 비율은 81.5%였다.

연구진이 미리 정한 기준은 「확신도 0.9 이상이면 정답률이 85% 이상일 것」이었다. 실제 정답률은 이 기준보다 3.5%포인트 낮았다.

더 주의해야 할 결과도 있다. 공감 과제에서는 전체 문장의 78%에 0.9 이상의 높은 확신을 붙였지만, 그 문장의 정답률은 38.3%였다. 아무 판단 없이 가장 흔한 답을 고르는 비율이 37.1%였으니, 높은 확신이 사실상 정보를 주지 못한 셈이다.

| 확신도 관련 측정 | 수치 |
|---|---|
| Jev 보정 오차 중앙값 | 0.157 |
| 가장 잘 맞춘 대형 AI 보정 오차 | 0.066 |
| Jev가 보정 오차에서 앞선 대형 AI | 19종 중 16종 |
| 확신 0.9 이상 문장 비율 / 정답률 | 37.6% / 81.5% |
| 미리 세운 기준 | 정답률 85% 이상(미달) |
| 공감 과제: 0.9 이상 붙인 비율 | 78% |
| 공감 과제: 그 문장 정답률 vs 흔한 답 비율 | 38.3% vs 37.1% |
| 공감 과제 보정 오차 | 0.538 |

고객 문의에서도 비슷한 문제가 생길 수 있다. 「화가 났다」「조금 서운하다」처럼 감정의 정도를 나누는 칸은 단어 하나만 보고 판단하기 어렵기 때문이다. 이런 칸에서 싼 AI가 자신 있게 틀리는지부터 확인해야 한다.

## 싼 AI와 대형 AI를 같이 쓰면 어떨까?

방법은 간단하다. 먼저 모든 문장을 싼 AI에 맡기고, 확신도가 기준보다 낮은 문장만 대형 AI에 다시 맡긴다.

연구에서는 확신도 기준을 0.5부터 0.95까지 시험했다. 예를 들어 제미나이 3.8 플래시와 0.8 기준으로 묶었을 때 정확도는 67.4%로, 제미나이만 썼을 때의 67.8%와 거의 같았다. 비용은 대형 AI만 사용할 때의 56%였다.

젬마 4 31B와 묶은 경우에는 63.8%로 대형 AI만 사용했을 때의 62.6%보다 높았고, 비용은 50%였다. 전체적으로는 대형 AI만 사용할 때 비용의 25~50% 수준에서 비슷하거나 더 높은 정확도를 냈다.

| 짝지은 대형 AI | 기준 확신도 | 2단계 정확도 | 대형 AI만 쓸 때 | 비용(대형 AI만 = 100) |
|---|---|---|---|---|
| 제미나이 3.8 플래시 | 0.8 | 67.4% | 67.8% | 56 |
| 젬마 4 31B | 0.8 | 63.8% | 62.6% | 50 |
| 전체 범위(연구진 요약) | 0.5~0.95 | 비슷하거나 높음 | — | 25~50 |

## 작은 가게도 굳이 싼 AI를 써야 할까?

여기서는 계산을 따로 해야 한다. 연구진은 수백만 문장을 처리할 때의 비용을 중요하게 봤지만, 동네 가게는 한 달 문의와 후기가 1,000건을 넘기기 어렵다.

실험에서 가장 비싼 대형 AI로 1,000문장을 처리하는 비용은 7.90달러였다. 44배라는 큰 차이가 있어도 작은 가게에서는 실제 금액 차이가 몇 달러에 그칠 수 있다.

국내 소상공인 조사에서도 비용 부담은 AI 도입의 큰 걸림돌로 나타났다. 2025년 9월 중소기업중앙회 서울지역본부 조사에서는 서울 소상공인의 AI 활용률이 9.7%였고, AI를 쓰지 않는 이유로 비용 부담을 꼽은 비율은 69.0%였다.

2026년 6월 중소기업중앙회 조사에서는 소상공인의 디지털·AI 기술 이용률이 80%였지만, 고급 수준이라고 답한 비율은 1.5%였다. 비용을 아끼는 것만큼 실제로 어디까지 믿을 수 있는지를 확인하는 일이 중요하다.

| 국내 조사 | 수치 |
|---|---|
| 서울 소상공인 AI 활용률(중기중앙회 서울, 2025.9, 300곳) | 9.7% |
| 도입 장애: 비용 부담 / 지식·인력 부족 | 69.0% / 30.7% |
| 소상공인 디지털·AI 이용(중기중앙회, 2026.6, 500명) | 80% |
| 그중 고급 수준 | 1.5% |
| 정부 AI 지원사업 참여 | 3.2% |

## 어떤 문의를 싼 AI에 맡기면 될까?

가격·예약·배송처럼 경계가 분명한 칸부터 시험해 볼 수 있다. 실험의 허위 정보나 비유 표현 과제처럼 기준이 비교적 뚜렷한 분류에서는 1등 대형 AI와의 차이가 4~6점이었다.

칭찬과 불만처럼 조금 더 애매한 칸은 2단계 분류가 낫다. 싼 AI가 먼저 분류하고, 확신도가 낮은 문장만 대형 AI에 넘긴 뒤 실제 결과를 사람이 확인한다.

화난 정도나 서운함처럼 감정의 정도를 가르는 칸은 더 조심해야 한다. 감정 분류와 공감 과제에서는 싼 AI의 점수가 크게 낮았고, 공감 과제에서는 높은 확신을 보인 문장도 거의 찍는 수준이었다.

욕설이나 공격적인 후기도 마찬가지다. 독성 과제에서 Jev의 점수가 50.2점으로 무작위 선택의 50.0점과 거의 같았기 때문에, 이런 칸을 싼 AI 하나에 맡기는 것은 피하는 편이 안전하다.

| 칸 종류(가게 예) | 실험에서 가까운 과제 | 권장 방식(예상) |
|---|---|---|
| 가격·예약·배송 문의 | 허위 정보·비유(차이 4~6점) | 싼 AI 먼저 + 확신 낮은 것만 넘김 |
| 칭찬/불만 큰 구분 | 공손함(차이 10.5점) | 2단계 분류 + 표본 검증 |
| 화난 정도·서운함 | 감정·공감(차이 13.5점, 찍기 수준) | 대형 AI나 사람 |
| 욕설·공격적 후기 | 독성(Jev 50.2, 찍기 50.0) | 싼 AI 단독 사용 금지 |

## 우리 가게에서는 어떻게 검증할까?

먼저 지난 고객 문의와 후기를 모아 사람이 직접 칸을 붙인다. 그다음 싼 AI가 각 문장에 붙인 확신도와 실제 정답을 비교한다.

예를 들어 싼 AI가 「0.9 이상 확신」이라고 표시한 문장만 따로 모아 실제로 몇 %가 맞는지 확인한다. 원하는 정답률에 못 미치면 확신도 기준을 높이거나, 해당 칸을 대형 AI나 사람이 맡도록 바꾼다.

중요한 점은 이 실험이 한국어 고객 문의를 대상으로 한 실험이 아니라는 것이다. 문장은 모두 영어였고 사회과학 분류 과제였으며, 상용 결정형 모델도 Jev 하나였다. 가격과 성능도 바뀔 수 있다.

따라서 연구 결과를 그대로 가게에 적용하기보다, 연구에서 확인된 방법을 우리 가게 자료로 다시 확인하는 것이 맞다. 싼 AI를 먼저 쓰고 확신이 낮은 것만 넘기는 방식은 비용을 줄이는 방법이지만, 그 기준 자체는 가게마다 직접 검증해야 한다.

① Jev는 15개 과제 중 14개에서 1등 대형 AI보다 낮았고, 비용은 중앙값 44분의 1이었다. ② 확신도 0.9 이상인 문장의 정답률은 81.5%로, 목표였던 85%에 못 미쳤다. ③ 공감 과제에서는 78%에 높은 확신을 붙였지만 정답률은 38.3%로, 찍기 37.1%와 거의 같았다. ④ 확신이 낮은 문장만 대형 AI에 넘기면 대형 AI만 쓸 때 비용의 25~50% 수준으로 비슷하거나 더 높은 정확도를 냈다.

## 같이 읽을 글

 

- 작은 가게도 비싼 AI를 써야 할까?

- AI 순위표 1등이면 믿고 써도 될까?

- AI는 우리 가게 후기를 골고루 읽을까?

- AI가 고객 대신 답한 결과를 믿어도 될까?
 

## 자료 출처

 

- Evaluating Decision Models for Text Annotation in Computational Social Science(뉴욕대 아부다비·arXiv 2609.24574·2026.9, 18개 과제 7,977문장, 대형 AI 19종·결정형 모델 3종+공개 11종)

- 같은 논문 본문 HTML 판(2단계 분류·비용·공감 과제·한계 수치)

- 서울 소상공인 10곳 중 1곳만 AI 활용…「비용 부담」(파이낸셜뉴스·중기중앙회 서울지역본부 2025.9.10~18 조사, 서울 소상공인 300곳)

- 소상공인 80% AI 쓰지만 대부분 「기초·입문」 수준(시사저널·중소기업중앙회 2026.6 발표, 소상공인 500명)

- ★TypeSafe Jev review (2026)(eesel·업체 가격 주장 정리, 입력 100만 토큰 0.042달러)

- ★TypeSafe Jev: the First Decision-Only Model Class, Benchmarked and Priced(Developers Digest·2026, 업체 발표 정리)