가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?

웹 검색을 붙이면 상담 챗봇이 더 많은 질문에 답할 수 있다. 하지만 답에 붙는 출처까지 믿을 만하다고 볼 수는 없다. 아이슬란드대 연구에서는 웹 검색이 질문의 91.5%에 답했지만, 웹 답의 35%에서 전문가가 출처를 문제 삼았다.

챗봇이 모르는 질문까지 답하게 해야 할까?

아이슬란드대 연구진은 EU 관련 시민 질문에 AI가 답하는 서비스를 출시하기 전에 두 방식을 비교했다. 하나는 전문가가 작성한 자체 자료만 찾아 답하게 하는 방식이고, 다른 하나는 AI가 웹을 검색해 답하는 방식이다.

자체 자료는 2011~2013년에 전문가 87명이 쓴 답 742개였다. 질문 287개를 두 방식으로 모두 답하게 했고, 2026년 5월 초부터 7월 초까지 전문가 5명이 답 449개를 551번 평가했다.

결과는 분명했다. 웹 검색은 질문에 답했다는 평가가 91.5%였지만, 자체 자료는 48.5%였다. 고객이 무엇을 물어도 최대한 답하게 만드는 데에는 웹 검색이 훨씬 유리했다.

우리 자료만 쓰면 답을 못 하는 질문이 많지 않을까?

그렇다. 자체 자료는 오래전에 만들어져 이후 갱신되지 않았기 때문에 최근 논쟁을 묻는 질문의 59%, 역사 배경을 묻는 질문의 55%를 답하지 못했다.

대신 자료에 없는 내용을 억지로 만들지는 않았다. 자체 자료 방식은 자료가 부족하면 「자료가 충분하지 않다」고 멈췄고, 이런 문구가 자체 자료 답의 70%에 들어 있었다. 웹 답에서는 약 1%뿐이었다.

이 차이는 가게 상담에서도 중요하다. 고객이 가격이나 예약처럼 실제 운영 자료를 묻는데 자료가 없다면, 답을 만들어내는 것보다 자료가 없다고 알려주는 편이 관리하기 쉽다.

그런데 답한 것만 보면 어느 쪽이 나았을까?

여기서는 결과가 달라졌다. 질문에 답한 경우만 놓고 보면 자체 자료는 출처 적절성 78%, 웹 검색은 65%였다.

말이 자연스러운지도 자체 자료가 92%로 웹 검색의 81%보다 높았다. 조금만 고치면 바로 내보낼 수 있다는 평가도 자체 자료가 87%, 웹 검색이 72%였다. 여섯 기준을 합친 점수 역시 자체 자료가 5.3점, 웹 검색이 4.9점이었다.

즉, 자체 자료의 약점은 답을 잘못하는 데만 있지 않았다. 답할 자료가 없는 질문이 많았던 것이 큰 문제였다. 반대로 자료가 있는 질문에서는 자체 자료가 더 안정적인 결과를 보였다.

웹 검색은 왜 출처가 문제였을까?

웹 답 187개 가운데 65개, 즉 35%에서 전문가가 출처를 하나 이상 문제 삼았다. 자체 자료는 262개 가운데 16개, 6%였다.

다만 이 숫자를 그대로 비교해서는 안 된다. 자체 자료는 이미 편집 검수를 거친 글이라 전문가가 문제 삼은 이유가 모두 「오래됐다」였기 때문이다. 웹 출처에서는 믿기 어렵거나 질문과 상관없는 경우가 함께 나왔다.

전문가가 문제 삼은 웹 출처의 이유를 보면 한쪽으로 치우친 매체, 칼럼·사설, 1차 자료 대신 2차 보도를 인용한 경우가 많았다. 웹 답은 답 하나에 평균 5.8개의 출처를 붙였지만, 출처가 많다고 해서 출처의 질까지 보장되지는 않았다.

「믿을 만한 사이트를 먼저 봐」라고 시키면 해결되지 않을까?

연구에서는 믿을 만한 사이트 목록을 AI에게 주고 그쪽을 먼저 보라고 지시했다. 실제로 목록 안 사이트를 인용하는 비율은 12%에서 21%로 늘었다.

하지만 목록을 넣은 경우에도 인용 5건 중 4건은 목록 밖 사이트였다. 연구진은 출처 선택이 모델이나 지시문 하나만으로 결정되는 것이 아니라 전체 설정에 따라 달라질 수 있다고 봤다.

여기서 가게 상담 챗봇에 적용할 때 중요한 점이 나온다. 웹 검색을 붙인다면 「좋은 사이트를 참고해」라는 말만 넣는 것으로 끝내서는 안 된다. 어떤 사이트를 검색 대상으로 허용할지 설정에서 관리해야 한다.

그럼 가게 상담 챗봇은 어떻게 만드는 게 좋을까?

이번 연구가 가게 챗봇을 직접 실험한 것은 아니다. 따라서 아래 내용은 연구 결과를 가게 상담에 옮겨 생각한 예상이다.

우선 고객이 자주 묻는 정보부터 자체 자료로 채우는 방법이 있다. 가격, 예약, 환불, 영업시간처럼 실제 운영에 필요한 정보가 대표적이다. 자체 자료의 가장 큰 약점이 자료 부족이었던 만큼, 자주 묻는 질문부터 자료를 갖춰 놓는 것이 중요하다.

자료가 바뀌면 함께 고쳐야 한다. 이번 연구에서 자체 자료와 관련해 전문가가 문제 삼은 이유는 모두 「오래됐다」였다. 가게의 가격이나 메뉴, 휴무가 바뀌었는데 챗봇 자료를 그대로 두면 답의 정확도도 떨어질 수 있다.

웹 검색은 범위를 넓히는 데 쓸 수 있다. 다만 가격이나 환불처럼 가게가 직접 정해야 하는 정보, 틀리면 안 되는 정보는 자체 자료를 기준으로 답하게 하는 방식이 필요하다.

그리고 챗봇을 만든 뒤에는 답변만 읽지 말고 출처도 직접 확인해야 한다. 이번 연구에서는 답이 매끄럽고 질문에도 잘 맞는다고 평가받은 답에서도 출처의 문제 여부는 별개였다.

많이 답하는 챗봇과 믿을 수 있는 챗봇은 다르다

이번 연구에서 웹 검색은 질문의 91.5%에 답했다. 자체 자료는 48.5%에 그쳤다. 그래서 웹 검색은 답변 범위를 넓히는 데 강했다.

하지만 질문에 답한 경우만 보면 자체 자료의 출처 적절성은 78%로 웹 검색의 65%보다 높았다. 웹 검색은 더 많은 질문에 답하는 대신 출처를 따로 확인해야 하는 부담이 생겼다.

가게 상담 챗봇에서는 두 방식을 무조건 하나로 고를 필요보다, 어떤 질문에 어떤 자료를 쓰게 할지 나누는 것이 중요하다. 자체 자료가 필요한 질문은 자료를 잘 관리하고, 웹 검색을 허용한다면 검색 범위와 출처를 별도로 점검해야 한다.

같이 읽을 글

• AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까?
• AI가 어제 인용한 곳을 오늘도 인용할까
• AI는 가게의 새 가격과 옛 가격 중 무엇을 믿을까?
• FAQ 질문은 어떻게 골라야 할까?

자료 출처

• Curated retrieval versus open web search in public AI information services: a coverage–trust trade-off(Einarsson 등 4인, 아이슬란드대, 2026년 7월 arXiv 제출·7월 7일 개정, 평가 551건·답 449개·전문가 5명)
• 같은 연구 전문(HTML판, 부록 A~D 평가자 일치도·전문가 의견 77건 수록)
• Um Evrópuvefinn(에브로푸베퓌르 서비스 소개 — 2011~2013년 의회 예산으로 운영된 EU 안내 서비스)
• Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs(2026년 arXiv — 소상공인 문서 자료로 정답률 82.45%→91.52%)
• 같은 소상공인 연구 전체 본문(arXiv HTML)