홈페이지 상담봇이 틀리면 누가 책임질까?

편리함보다 먼저 확인할 것은 답의 근거와 책임이다

상담봇은 고객이 자주 묻는 질문에 바로 답해준다는 점에서 편리하다. 하지만 그라운딩 없이 운영하면 오류율이 15~30%로 보고되고, 법률 질문에서는 범용 AI의 오류율이 58~88%까지 올라간다. 더 중요한 문제는 상담봇이 틀린 답을 했을 때 책임이 사라지는 것이 아니라는 점이다.

챗봇에 대화형 요소가 있다고 해도, 그것은 여전히 회사 홈페이지의 일부일 뿐이다.

상담봇이 틀리는 이유가 따로 있나

상담봇이 모든 정보를 정확하게 알고 있는 것은 아니다. 특히 가게의 실제 영업시간, 가격, 환불 규정, 재고처럼 사업자마다 다른 정보를 상담봇이 확실한 근거 없이 답하게 두면 잘못된 답이 나올 수 있다.

핵심은 상담봇이 어디에서 답을 가져오느냐다. 자사 자료나 검색 결과에 답을 묶지 않고 모델이 스스로 답하게 하면 오류가 15~30%로 보고됐다. 실제 기업 상담봇을 운영하면서 측정한 사례에서는 약 18%가 나왔다.

반대로 자사 자료에 답을 좁혀 묻게 하는 그라운딩이나 RAG 방식을 적용하면 오류율이 1% 미만까지 떨어졌다는 업체 발표도 있다. 다만 이 수치는 업체가 자체적으로 발표한 값이라는 점은 구분해서 볼 필요가 있다.

상담봇 운영 방식오류(할루시네이션) 비율비고
그라운딩 없음(모델이 그냥 답함)15~30%업계 조사 2026★
실제 기업 상담봇(운영 실측)약 18%업계 조사 2026★
자사 자료 기반(그라운딩, RAG)1% 미만업체 발표 2026★
그라운딩 도입 후 상담 이관 감소28% 감소업체 발표 2026★
오류 관련 불만 티켓(그라운딩 적용)0.34%업체 발표 2026★

모든 질문이 똑같이 위험한가

그렇지는 않다. 무엇을 묻느냐에 따라 오류 위험이 크게 달라진다.

특히 법률이나 정책처럼 정확한 조건을 따져야 하는 질문은 주의해야 한다. 스탠퍼드 RegLab·HAI가 법률 질문으로 범용 AI를 시험한 결과 GPT-4의 오류율은 58%, GPT-3.5는 69%, 라마2는 88%였다.

법률 질문 전반에서도 범용 AI는 6번 중 1번 이상 오류를 냈다. 법률 전용 AI 도구인 렉시스+ AI와 웨스트로 AI도 오류율이 17~33%로 나타났다.

동네 가게의 상담봇이 법률 자문을 하는 것은 아니더라도 환불 기준, 계약 조건, 자격 요건처럼 정책을 묻는 질문은 비슷한 주의가 필요하다. 고객이 실제 행동을 결정하는 데 영향을 주는 답이라면 틀리지 않도록 답의 근거를 제한하는 것이 중요하다.

질문·도구 종류오류(할루시네이션) 비율출처
법률 질문 / GPT-4(범용)58%스탠퍼드 RegLab·HAI 2024.1
법률 질문 / GPT-3.5(범용)69%〃
법률 질문 / 라마2(범용)88%〃
법률 질문 전반(범용 AI)6번 중 1번 이상〃
법률 전용 AI 도구(렉시스+·웨스트로)17~33%〃

상담봇이 틀리면 사장님이 책임지나

실제 사례가 있다. 2022년 11월 캐나다 항공사의 상담 챗봇이 존재하지 않는 유족 할인 정책을 고객에게 안내했고, 고객이 나중에 할인을 요구하면서 분쟁이 생겼다.

회사는 챗봇이 별도의 법적 주체라는 취지로 책임을 피하려 했다. 하지만 2024년 2월 14일 캐나다 민간분쟁해결위원회는 이 주장을 받아들이지 않았고, 회사가 고객에게 812.02캐나다달러를 배상하라고 결정했다.

판단의 핵심은 챗봇이 대화형 기능이라는 이유만으로 홈페이지의 다른 정보와 다르게 취급할 수 없다는 것이었다. 고객에게 제공된 정보라면 챗봇이 한 말이라는 이유만으로 회사의 책임에서 벗어나지는 못한다는 사례다.

사건시점결과
캐나다 항공사 챗봇, 없는 유족 할인 안내2022.11 발생 → 2024.2.14 판결배상 812.02캐나다달러, 「챗봇도 회사 책임」

고객은 상담봇 자체를 싫어하는 걸까

상담봇이 있다는 사실만으로 고객이 불만을 갖는다고 보기는 어렵다. 문제는 상담봇이 고객의 질문에 제대로 답하지 못하거나, 상담원에게 연결되지 않는 경우다.

서울시가 2025년 10월 2일부터 14일까지 소비자 1,000명을 조사해 2026년 2월 27일 발표한 결과를 보면, 최근 1년 온라인쇼핑 피해 경험은 30.2%였다. 이 가운데 고객센터 연결이 원활하지 않았다는 응답은 41.1%, AI챗봇이 질문과 무관한 획일적 답변을 했다는 불만은 39.4%였다.

챗봇과 사람 상담원을 함께 운영해 달라는 응답도 40.4%였다. 상담봇을 설치하는 것 자체보다 상담봇만 두고 사람 상담을 없애는 방식이 고객에게 불편을 줄 수 있다는 점을 보여준다.

서울시 온라인쇼핑 소비자 조사(표본 1,000명)비율
최근 1년 피해 경험30.2%
고객센터 연결 불원활(자동응답 등)41.1%
AI챗봇 질문과 무관한 획일적 답변 불만39.4%
챗봇+사람 상담원 동시 운영 희망40.4%
배송 지연 피해42.7%
제품 불량·하자 피해65.6%

상담봇을 붙이기 전에 무엇을 확인해야 하나

첫째는 답의 근거다. 상담봇이 모델이 스스로 알고 있는 내용을 바탕으로 답하는지, 아니면 우리 가게가 제공한 자료를 바탕으로 답하는지 확인해야 한다.

가게에서 제공한 영업시간, 가격, 환불 규정, 재고 같은 자료에 답을 묶어두는 방식이라면 잘못된 정보를 만들어낼 가능성을 낮추는 데 도움이 된다. 지금까지 나온 자료에서도 그라운딩을 적용했을 때 오류율이 크게 낮아졌다는 방향은 확인된다.

둘째는 사람이 확인할 수 있는 구조다. 상담봇이 답하기 어려운 질문이나 정책과 관련된 질문을 받았을 때 어떻게 처리되는지 정해져 있어야 한다.

결국 상담봇을 고를 때 중요한 것은 단순히 답변을 잘하는지 여부가 아니다. 답이 우리 가게 자료에서 나오는지, 그리고 틀린 답이 나왔을 때 누가 확인하고 고치는지를 함께 봐야 한다.

상담봇은 홈페이지의 바깥에 있는 별도의 존재가 아니다. 고객에게 가게의 정보를 전달하는 홈페이지의 일부이기 때문에, 편리함을 얻기 전에 정확한 자료와 책임 구조부터 확인하는 것이 필요하다.

요점 ① 그라운딩 없는 상담봇 오류율은 15~30%, 실제 기업 운영 실측치는 약 18%다. ② 법률 질문의 범용 AI 오류율은 GPT-4 58%, GPT-3.5 69%, 라마2 88%였다. ③ 캐나다 사례에서 챗봇의 잘못된 안내로 812.02캐나다달러 배상 결정이 나왔다. ④ 서울시 조사에서 AI챗봇의 무관한 획일적 답변 불만은 39.4%, 챗봇과 사람 상담원 동시 운영 희망은 40.4%였다.

같이 읽을 글

자료 출처

작성일

#홈페이지 #상담봇 #할루시네이션 #책임 #GEO

← 칼럼 목록
무료로 신청하기→