# 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?

_상담 챗봇의 답변 범위와 출처 신뢰도를 함께 보는 법_

> 아이슬란드대 연구에서 웹 검색은 91.5%의 질문에 답했지만 답의 35%에서 출처가 문제 됐다. 자체 자료는 48.5%만 답했지만 출처 적절성은 78%였다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/store-chatbot-own-data-or-web-search
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-27

웹 검색을 붙이면 상담 챗봇이 더 많은 질문에 답할 수 있다. 하지만 답에 붙는 출처까지 믿을 만하다고 볼 수는 없다. 아이슬란드대 연구에서는 웹 검색이 질문의 91.5%에 답했지만, 웹 답의 35%에서 전문가가 출처를 문제 삼았다.

챗봇은 많이 답하는 것과 믿을 만하게 답하는 것을 따로 봐야 한다.

## 챗봇이 모르는 질문까지 답하게 해야 할까?

아이슬란드대 연구진은 EU 관련 시민 질문에 AI가 답하는 서비스를 출시하기 전에 두 방식을 비교했다. 하나는 전문가가 작성한 자체 자료만 찾아 답하게 하는 방식이고, 다른 하나는 AI가 웹을 검색해 답하는 방식이다.

자체 자료는 2011~2013년에 전문가 87명이 쓴 답 742개였다. 질문 287개를 두 방식으로 모두 답하게 했고, 2026년 5월 초부터 7월 초까지 전문가 5명이 답 449개를 551번 평가했다.

| 항목 | 내용 |
|---|---|
| 서비스 | 아이슬란드대 운영 EU 안내 서비스(정부 지원·편집 독립) |
| 자체 자료 | 전문가 87명이 쓴 답 742개(2011~2013년, 이후 갱신 없음) |
| 질문 | 287개(두 방식 모두 답함 → 574개) |
| 평가자 | 전문가 5명(답 하나당 1,500크로나, 약 10.45유로) |
| 평가 기간 | 2026년 5월 초~7월 초(약 8주) |
| 평가 | 551건(답 449개: 자체 자료 262·웹 187) |
| 문제 삼은 출처 | 128건 |

결과는 분명했다. 웹 검색은 질문에 답했다는 평가가 91.5%였지만, 자체 자료는 48.5%였다. 고객이 무엇을 물어도 최대한 답하게 만드는 데에는 웹 검색이 훨씬 유리했다.

## 우리 자료만 쓰면 답을 못 하는 질문이 많지 않을까?

그렇다. 자체 자료는 오래전에 만들어져 이후 갱신되지 않았기 때문에 최근 논쟁을 묻는 질문의 59%, 역사 배경을 묻는 질문의 55%를 답하지 못했다.

대신 자료에 없는 내용을 억지로 만들지는 않았다. 자체 자료 방식은 자료가 부족하면 「자료가 충분하지 않다」고 멈췄고, 이런 문구가 자체 자료 답의 70%에 들어 있었다. 웹 답에서는 약 1%뿐이었다.

| 기준(평가 전체) | 웹 검색 | 자체 자료 |
|---|---|---|
| 질문에 답함 | 91.5% | 48.5% |
| 범위가 맞음 | 92.8% | 82.3% |
| 지어낸 내용 없음 | 88.8% | 80.8% |
| 사실이 맞음 | 80.7% | 71.0% |
| 조금만 고치면 내보낼 수 있음 | 67.3% | 52.4% |
| 말이 자연스러움 | 78.9% | 85.4% |
| 「자료가 충분하지 않다」 문구 | 약 1% | 70% |

이 차이는 가게 상담에서도 중요하다. 고객이 가격이나 예약처럼 실제 운영 자료를 묻는데 자료가 없다면, 답을 만들어내는 것보다 자료가 없다고 알려주는 편이 관리하기 쉽다.

## 그런데 답한 것만 보면 어느 쪽이 나았을까?

여기서는 결과가 달라졌다. 질문에 답한 경우만 놓고 보면 자체 자료는 출처 적절성 78%, 웹 검색은 65%였다.

말이 자연스러운지도 자체 자료가 92%로 웹 검색의 81%보다 높았다. 조금만 고치면 바로 내보낼 수 있다는 평가도 자체 자료가 87%, 웹 검색이 72%였다. 여섯 기준을 합친 점수 역시 자체 자료가 5.3점, 웹 검색이 4.9점이었다.

| 기준(질문에 답한 경우만) | 자체 자료 | 웹 검색 |
|---|---|---|
| 출처가 맞음 | 78% | 65% |
| 말이 자연스러움 | 92% | 81% |
| 조금만 고치면 내보낼 수 있음 | 87% | 72% |
| 여섯 기준 합계(6점 만점) | 5.3점 | 4.9점 |

즉, 자체 자료의 약점은 답을 잘못하는 데만 있지 않았다. 답할 자료가 없는 질문이 많았던 것이 큰 문제였다. 반대로 자료가 있는 질문에서는 자체 자료가 더 안정적인 결과를 보였다.

## 웹 검색은 왜 출처가 문제였을까?

웹 답 187개 가운데 65개, 즉 35%에서 전문가가 출처를 하나 이상 문제 삼았다. 자체 자료는 262개 가운데 16개, 6%였다.

다만 이 숫자를 그대로 비교해서는 안 된다. 자체 자료는 이미 편집 검수를 거친 글이라 전문가가 문제 삼은 이유가 모두 「오래됐다」였기 때문이다. 웹 출처에서는 믿기 어렵거나 질문과 상관없는 경우가 함께 나왔다.

전문가가 문제 삼은 웹 출처의 이유를 보면 한쪽으로 치우친 매체, 칼럼·사설, 1차 자료 대신 2차 보도를 인용한 경우가 많았다. 웹 답은 답 하나에 평균 5.8개의 출처를 붙였지만, 출처가 많다고 해서 출처의 질까지 보장되지는 않았다.

| 전문가가 문제 삼은 이유(웹 출처 의견 77건) | 건수 |
|---|---|
| 한쪽으로 치우친 매체 | 17건 |
| 칼럼·사설 | 16건 |
| 1차 자료를 두고 2차 보도 인용 | 15건 |
| 스스로 근거를 밝히지 않은 페이지 | 7건 |
| 개인 블로그 | 7건 |
| 위키백과 | 6건 |
| 깨진 링크 | 6건 |

## 「믿을 만한 사이트를 먼저 봐」라고 시키면 해결되지 않을까?

연구에서는 믿을 만한 사이트 목록을 AI에게 주고 그쪽을 먼저 보라고 지시했다. 실제로 목록 안 사이트를 인용하는 비율은 12%에서 21%로 늘었다.

하지만 목록을 넣은 경우에도 인용 5건 중 4건은 목록 밖 사이트였다. 연구진은 출처 선택이 모델이나 지시문 하나만으로 결정되는 것이 아니라 전체 설정에 따라 달라질 수 있다고 봤다.

| 항목 | 목록 넣음 | 목록 뺌 |
|---|---|---|
| 인용 수 | 1,183건 | 1,330건 |
| 믿을 만한 사이트 목록 안 인용 | 21% | 12% |

여기서 가게 상담 챗봇에 적용할 때 중요한 점이 나온다. 웹 검색을 붙인다면 「좋은 사이트를 참고해」라는 말만 넣는 것으로 끝내서는 안 된다. 어떤 사이트를 검색 대상으로 허용할지 설정에서 관리해야 한다.

## 그럼 가게 상담 챗봇은 어떻게 만드는 게 좋을까?

이번 연구가 가게 챗봇을 직접 실험한 것은 아니다. 따라서 아래 내용은 연구 결과를 가게 상담에 옮겨 생각한 예상이다.

우선 고객이 자주 묻는 정보부터 자체 자료로 채우는 방법이 있다. 가격, 예약, 환불, 영업시간처럼 실제 운영에 필요한 정보가 대표적이다. 자체 자료의 가장 큰 약점이 자료 부족이었던 만큼, 자주 묻는 질문부터 자료를 갖춰 놓는 것이 중요하다.

자료가 바뀌면 함께 고쳐야 한다. 이번 연구에서 자체 자료와 관련해 전문가가 문제 삼은 이유는 모두 「오래됐다」였다. 가게의 가격이나 메뉴, 휴무가 바뀌었는데 챗봇 자료를 그대로 두면 답의 정확도도 떨어질 수 있다.

| 연구에서 본 것 | 가게 상담 챗봇에 옮기면(예상) |
|---|---|
| 자체 자료는 48.5%만 답함 | 고객이 실제로 묻는 질문부터 자료로 채우기(가격·예약·환불·영업시간) |
| 자체 자료 문제는 모두 「오래됨」 | 가격·메뉴·휴무가 바뀌면 자료도 같은 날 고치기 |
| 웹 답 35%에 문제 출처 | 가격·환불·법 규정처럼 틀리면 안 되는 질문은 자체 자료로만 답하게 |
| 목록 지시로는 21%만 따름 | 웹 검색을 붙이면 허용 사이트를 지시가 아니라 설정으로 막기 |
| 매끄러운 답도 출처는 따로 봐야 함 | 한 달에 몇 건씩 답과 출처를 사람이 직접 열어 보기 |
| 설정만 바뀌어도 인용이 달라짐 | 챗봇 설정을 바꿀 때마다 같은 질문으로 다시 점검 |

웹 검색은 범위를 넓히는 데 쓸 수 있다. 다만 가격이나 환불처럼 가게가 직접 정해야 하는 정보, 틀리면 안 되는 정보는 자체 자료를 기준으로 답하게 하는 방식이 필요하다.

그리고 챗봇을 만든 뒤에는 답변만 읽지 말고 출처도 직접 확인해야 한다. 이번 연구에서는 답이 매끄럽고 질문에도 잘 맞는다고 평가받은 답에서도 출처의 문제 여부는 별개였다.

## 많이 답하는 챗봇과 믿을 수 있는 챗봇은 다르다

이번 연구에서 웹 검색은 질문의 91.5%에 답했다. 자체 자료는 48.5%에 그쳤다. 그래서 웹 검색은 답변 범위를 넓히는 데 강했다.

하지만 질문에 답한 경우만 보면 자체 자료의 출처 적절성은 78%로 웹 검색의 65%보다 높았다. 웹 검색은 더 많은 질문에 답하는 대신 출처를 따로 확인해야 하는 부담이 생겼다.

가게 상담 챗봇에서는 두 방식을 무조건 하나로 고를 필요보다, 어떤 질문에 어떤 자료를 쓰게 할지 나누는 것이 중요하다. 자체 자료가 필요한 질문은 자료를 잘 관리하고, 웹 검색을 허용한다면 검색 범위와 출처를 별도로 점검해야 한다.

① 웹 검색은 질문의 91.5%에 답했지만, 웹 답의 35%에서 출처가 문제 됐다 ② 자체 자료는 48.5%만 답했고, 자료가 부족하다는 문구가 70%에 들어갔다 ③ 답한 경우 자체 자료의 출처 적절성은 78%, 웹 검색은 65%였다 ④ 믿을 만한 사이트 목록을 줘도 목록 안 인용은 21%에 그쳤다

## 같이 읽을 글

 

- AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까?

- AI가 어제 인용한 곳을 오늘도 인용할까

- AI는 가게의 새 가격과 옛 가격 중 무엇을 믿을까?

- FAQ 질문은 어떻게 골라야 할까?
 

## 자료 출처

 

- Curated retrieval versus open web search in public AI information services: a coverage–trust trade-off(Einarsson 등 4인, 아이슬란드대, 2026년 7월 arXiv 제출·7월 7일 개정, 평가 551건·답 449개·전문가 5명)

- 같은 연구 전문(HTML판, 부록 A~D 평가자 일치도·전문가 의견 77건 수록)

- Um Evrópuvefinn(에브로푸베퓌르 서비스 소개 — 2011~2013년 의회 예산으로 운영된 EU 안내 서비스)

- Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs(2026년 arXiv — 소상공인 문서 자료로 정답률 82.45%→91.52%)

- 같은 소상공인 연구 전체 본문(arXiv HTML)