우리 가게 챗봇도 15~27%씩 틀릴까?
챗봇 오답률은 숫자 하나로 정해지지 않는다. 무엇을 근거로 답하게 만들었는지가 중요하다.
우리 가게 챗봇이 15~27%씩 틀린다고 바로 볼 필요는 없다. 이 숫자는 모든 챗봇에 똑같이 적용되는 고정값이 아니기 때문이다. 중요한 것은 챗봇이 무엇을 근거로 답하느냐다.
챗봇의 오답률은 성능만의 문제가 아니라 답의 근거를 어디에 두었는지에 따라 크게 달라진다.
15~27%라는 숫자, 우리 가게에도 그대로 해당할까?
고객상담 챗봇의 오답이나 환각 비율은 조사에 따라 15~27%로 정리된다. 근거 없이 모델이 스스로 답하게 한 상담봇을 대상으로는 15~30%라는 조사도 있고, 실제 기업 상담봇 운영에서는 약 18%의 오답이 측정된 사례도 있다.
다만 이 숫자를 우리 가게에 그대로 대입해서는 안 된다. 조사 대상과 챗봇의 운영 방식이 다르기 때문이다. 특히 가게가 제공한 자료를 찾아 답하게 만드는 그라운딩을 적용하면 오답률이 1% 미만까지 떨어졌다는 업체 발표도 있다.
| 상담봇 운영 방식 | 오답(환각) 비율 | 출처 |
|---|---|---|
| 고객상담 챗봇 전반(정리치) | 15~27% | 업계 통계 정리 2026★ |
| 그라운딩 없음(모델이 스스로 답함) | 15~30% | 업계 조사 2026★ |
| 실제 기업 상담봇(운영 실측) | 약 18% | 업계 조사 2026★ |
| 자사 자료 기반(그라운딩, RAG) | 1% 미만 | 업체 발표 2026★ |
결국 중요한 것은 15%냐 27%냐를 따지는 것이 아니다. 우리 가게 챗봇이 영업시간, 가격, 환불 규정 같은 질문에 답할 때 가게가 제공한 자료를 근거로 하는지부터 확인해야 한다.
동네 가게 챗봇도 자료를 찾아 답하게 해야 할까?
동네 가게 홈페이지에 붙는 상담봇은 대기업 콜센터나 쇼핑몰 상담봇과 질문의 범위가 다르다. 그래도 답을 어디에서 가져오느냐가 정확도를 좌우한다는 원리는 같다.
동네 병원 추천 관련 실험에서도 비슷한 차이가 나타났다. 검색 없이 AI가 바로 답했을 때 실제와 맞는 답의 비율은 4~11%였지만, 검색 기능을 켜고 실제 정보를 찾아 답하게 하자 64~71%까지 올라갔다.
| 방식 | 정확도(실제와 맞는 답) | 출처 |
|---|---|---|
| 검색(근거 확인) 없이 AI가 바로 답함 | 4~11% | 동네 병원 추천 실험(2026) |
| 검색 기능을 켜고 실제 정보를 찾아 답함 | 64~71% | 〃 |
가게 상담에서도 마찬가지다. 영업시간이나 가격처럼 가게마다 달라지는 정보를 AI가 일반적으로 알고 있는 내용에 의존하면 문제가 생길 수 있다. 반대로 가게가 올린 자료를 찾아 답하도록 하면 답의 근거를 확인하기 쉬워진다.
고객은 챗봇의 어떤 답을 불편해할까?
국내에서도 챗봇 상담에 대한 불만은 적지 않다. 픽플리가 AI 챗봇 상담 이용 경험자 1,000명을 조사한 결과, 챗봇을 추천하겠다는 응답은 6.9%였고 추천하지 않겠다는 응답은 77.7%였다.
추천지수는 -70.9로 집계됐다. 만족했다는 응답은 29.8%, 불만족했다는 응답은 37.5%였다.
| 픽플리 AI 챗봇 상담 조사(표본 1,000명, 2026) | 수치 |
|---|---|
| 추천지수(NPS) | -70.9 |
| 추천층(9~10점) | 6.9% |
| 비추천층(0~6점) | 77.7% |
| 만족 응답 | 29.8% |
| 불만족 응답 | 37.5% |
불편했던 이유를 보면 더 직접적이다. 27.0%는 챗봇이 말을 못 알아듣고 딴소리를 했다고 답했고, 23.5%는 결국 문제를 해결하지 못했다고 답했다. 20.7%는 같은 답변을 반복했다고 답했다.
| 불편했던 경험 | 비율 |
|---|---|
| 말을 못 알아듣고 딴소리를 한다 | 27.0% |
| 결국 문제를 해결하지 못했다 | 23.5% |
| 같은 답변만 반복한다 | 20.7% |
이런 문제는 고객이 원하는 질문과 챗봇의 답이 맞지 않을 때 생긴다. 그래서 챗봇을 붙였다는 사실보다 고객이 실제로 묻는 내용에 맞는 근거를 갖고 답하는지가 더 중요하다.
챗봇이 틀리면 고객은 그냥 넘어갈까?
오답은 단순한 불편으로 끝나지 않을 수 있다. 가트너가 2026년 2~3월 B2B·B2C 고객 3,566명을 조사한 결과, 챗봇에서 나쁜 경험을 한 뒤에도 다시 챗봇을 이용하겠다는 응답은 27%였다.
한국 소비자가 AI 정보의 오류나 편향을 걱정하는 비율도 높게 나타났다. 크리테오가 한국 1,107명을 포함한 6개국 6,379명을 조사한 결과, AI 기반 쇼핑에서 허위·편향 정보를 우려한다는 응답은 한국이 64%, 글로벌 평균은 52%였다.
| 오답 이후 고객 반응 | 비율 | 출처 |
|---|---|---|
| 나쁜 경험 후에도 챗봇 재이용 의향 | 27% | 가트너(표본 3,566명, 2026.2~3) |
| AI의 허위· | 64% | 크리테오(한국 1,107명, 2026.6.10) |
| AI의 허위· | 52% | 〃(6개국 6,379명) |
| 궁금하면 바로 물어본다(확인 없이) | 56.9% | 오픈서베이(2026.7) |
고객이 챗봇의 답을 따로 확인하지 않고 받아들일 가능성도 있다. 오픈서베이의 2026년 7월 조사에서는 3개월 이상 챗GPT를 이용한 사람 가운데 궁금한 것이 생기면 바로 물어본다는 응답이 56.9%로 나타났다.
가게의 챗봇도 고객이 답을 받은 뒤 반드시 다시 확인한다고 볼 수는 없다. 따라서 틀린 답을 줄 가능성을 줄이는 설계가 중요하다.
우리 가게 챗봇은 어떻게 확인하면 될까?
15~27%라는 숫자를 보고 우리 가게 챗봇도 그만큼 틀릴 것이라고 판단할 필요는 없다. 가장 먼저 실제 고객이 자주 묻는 질문 10~20개를 뽑아 챗봇에 그대로 넣어보는 것이 좋다.
영업시간, 가격, 환불 규정처럼 실제 운영 정보가 필요한 질문의 답을 가게가 제공한 정보와 하나씩 대조하면 된다. 이때 두 가지를 보면 된다.
첫째는 챗봇이 모르는 질문에 모른다고 하거나 확인이 필요하다고 답하는지다. 아니면 그럴듯한 내용을 만들어서 답하는지를 봐야 한다.
둘째는 답의 근거가 어디에 있는지다. 가게가 올린 자료에서 찾아 답하는지, 아니면 AI가 일반적으로 알고 있는 내용을 바탕으로 답하는지를 확인해야 한다.
결국 우리 가게에 필요한 것은 다른 챗봇의 오답률 숫자를 그대로 가져오는 일이 아니다. 실제 고객 질문을 넣어보고, 정확한 자료를 근거로 답하고 있는지 확인하는 일이 먼저다.
요점 ① 고객상담 챗봇 오답률은 15~27%, 근거 없이 답하는 방식은 15~30%로 보고된 조사도 있다. ② 자사 자료를 활용한 그라운딩에서는 오답률이 1% 미만까지 낮아졌다는 업체 발표가 있다. ③ 국내 AI 챗봇 상담 조사에서 비추천 응답은 77.7%, 추천지수는 -70.9였다. ④ 한국 소비자의 AI 허위·편향 정보 우려는 64%로 글로벌 평균 52%보다 높았다.
같이 읽을 글
자료 출처
- LLM Hallucination Statistics 2026: AI Gets Facts Wrong Up to 82% of the Time(SQ매거진, 2026)★
- AI Chatbot Hallucination in Customer Service(SocialIntents, 2026)★
- Worried About AI Hallucinations? How to Measure and Control Them in Customer Support(CoSupport AI, 2026)★
- 은행·쇼핑몰 침투하는 상담용 AI 챗봇…만족도는 '바닥'(픽플리 조사, 표본 1,000명, 네이트뉴스 2026.9.11)
- "한국인 76%, AI 기반 쇼핑 환경에서도 브랜드 차별성 중시" 크리테오 2026 커머스와 AI 트렌드 리포트(한국 1,107명·6개국 6,379명, 2026.6.10)
- Gartner Finds Only 27% of Customers Would Try a Chatbot Again After a Negative Experience(Gartner, 표본 3,566명, 2026.2~3)
- 동네 병원 추천 정확도 실험(arXiv 2609.18341)
작성일
← 칼럼 목록