AI가 만든 질문 50개, 실제 고객 질문과 얼마나 다를까?

AI에게 고객이 물을 만한 질문 50개를 만들어 달라고 하면 짧은 시간에 질문 목록을 만들 수 있다. 하지만 AI가 만든 질문이 실제 고객의 관심을 제대로 반영하는 것은 아니다. 폴란드 바르샤바공대 연구에서 AI 질문과 학생들의 실제 질문은 길이와 주제의 쏠림, 답변 가능성에서 뚜렷한 차이를 보였다.

AI가 만든 질문과 실제 질문은 어떻게 달랐나?

연구진은 학생들의 시간표와 장학금, 강의계획서, 행정 절차를 안내하는 대학 챗봇을 시험했다. 학부 공식 웹페이지와 PDF 문서를 바탕으로 AI가 만든 질문 1,851개와 학생 89명이 설문에 적은 실제 질문 322개를 비교했다.

AI 질문은 구글의 문서 정리 AI인 노트북LM의 기본 설정으로 만들었다. 실제 질문은 재학생에게 최근 학업과 관련해 답이 필요했던 질문을 물어 수집했다. 중복을 제외한 뒤 두 사람이 질문마다 답이 담긴 자료를 짝지었다.

질문을 쓰는 방식부터 달랐다. AI는 「다음 학기 등록을 위해 학생이 충족해야 할 행정 조건은 무엇인가」처럼 길고 구체적으로 물었다. 반면 학생들은 「학기 끝나는 날?」, 「시간표?」처럼 짧게 물었다.

평균 길이는 AI 질문이 15.7단어, 실제 질문이 6.8단어였다. AI 질문이 더 정돈된 문장이라고 해서 실제 고객이 쓰는 표현에 더 가깝다는 뜻은 아니다.

실제로 많이 묻는 질문은 따로 있었나?

그렇다. AI 질문은 165곳의 자료에 걸쳐 고르게 퍼졌지만, 실제 질문은 53곳에 집중됐다. 실제 질문 가운데 문서로 답할 수 있는 질문에서는 학사 일정표 한 곳이 25.3%를 차지했다. 상위 3개 자료에 몰린 비중도 AI 질문은 15.1%, 실제 질문은 44.4%였다.

주제별 차이도 컸다. AI 질문에서 가장 큰 비중을 차지한 주제는 강의계획서·선택과목이었지만, 학생들이 가장 많이 물은 주제는 시간표였다. 시간표는 실제 질문의 27.0%였으나 AI 질문에서는 8.3%에 그쳤다.

학사 일정도 마찬가지다. 실제 질문의 7.5%가 학사 일정에 관한 것이었지만 AI 질문에는 해당 주제가 하나도 없었다. 반대로 AI는 인턴십과 졸업논문 절차를 실제보다 훨씬 높은 비중으로 다뤘다.

이 결과는 AI 질문을 더 많이 만든다고 해결되지 않았다. 연구진이 AI 질문을 165개씩 무작위로 1,000번 뽑아 확인했을 때, 질문 165개만으로도 AI가 다룬 17개 주제의 93%가 이미 채워졌다. 질문을 늘려도 실제 이용자가 자주 묻는 주제를 새로 발견할 수 있다는 보장은 없었다.

고객이 묻는 질문에 홈페이지 자료만으로 답할 수 있을까?

연구에서 놓치기 쉬운 부분은 답변 가능성이다. 학생들의 실제 질문 322개 가운데 157개, 즉 49%는 정해진 문서만으로 답할 수 없었다. 개인 사정을 알아야 하거나, 문서에 없는 실시간 정보가 필요하거나, 답변에 사용할 자료를 하나로 특정하기 어려운 질문이었다.

특히 시간표 질문은 47%만 문서 하나로 답할 수 있었다. 강의계획서·선택과목 질문은 그 비율이 30%였다. 반면 학사 일정 질문은 모두 문서 하나에 짝지어졌다.

AI 질문은 문서를 바탕으로 만들었기 때문에 같은 기준에서 답할 수 없는 질문이 없었다. 따라서 AI 질문만으로 챗봇을 시험하면 답을 찾지 못했을 때 어떻게 대응하는지는 검증되지 않는다.

고객이 원하는 정보를 홈페이지에서 찾을 수 없다면, AI가 임의로 답을 만들어서는 안 된다. 확인할 수 없다고 안내하거나 담당자에게 연결하는 방식도 시험해야 한다. 답변을 잘하는지뿐 아니라 답할 수 없는 상황에서 어떻게 행동하는지도 확인할 필요가 있다.

AI 노출 점수가 높으면 실제 고객에게도 잘 답할까?

연구진은 같은 챗봇을 검색 설정 세 가지로 시험했다. AI 질문에서 정답 자료를 상위 5개 안에 찾는 점수는 0.820~0.896이었다. 그러나 실제 질문에서는 0.527~0.545로 떨어졌다.

AI 질문에서 가장 높은 점수를 받은 설정은 의미 검색에 낱말 맞추기를 더한 방식이었다. 점수는 0.896에서 0.527로 떨어졌다. 답을 찾는 데 걸린 시간도 질문당 2.70초로, 같은 저장소에서 낱말 맞추기를 쓰지 않은 방식의 1.57초보다 길었다.

연구진은 질문 길이와 주목하는 자료의 차이를 원인으로 제시했다. 낱말을 맞춰 찾는 방식은 긴 AI 질문에는 도움이 됐지만 짧은 실제 질문에는 그렇지 않았다. 실제 질문이 일부 자료에 집중된다는 점도 검색 결과에 영향을 줬다.

따라서 AI 질문으로 얻은 점수만 보고 홈페이지나 검색 설정이 충분하다고 판단해서는 안 된다. 고객이 실제로 쓰는 질문으로 다시 시험해야 성능을 더 현실적으로 확인할 수 있다.

동네 가게는 질문 목록을 어떻게 만들어야 할까?

대학 연구 결과를 동네 가게에 그대로 적용할 수는 없다. 실제 질문은 설문으로 수집됐고, 연구 대상도 대학 한 곳의 행정 안내 챗봇이었다. 다만 AI가 만든 질문만으로 실제 고객의 관심을 충분히 반영하기 어렵다는 점은 실무에서 확인할 가치가 있다.

동네 가게라면 먼저 전화와 문자, 메신저, 후기에서 고객이 실제로 한 질문을 모으는 편이 좋다. 홈페이지 FAQ를 만들 때도 AI가 제안한 질문과 실제 질문을 별도로 정리해야 한다. 연구진은 실제 이용자 질문 50~100개를 모아 AI 질문과 비교할 것을 권했다.

검색어 자료도 활용할 수 있다. 구글 서치콘솔의 실적 보고서에서 검색어를 확인하면 고객이 어떤 표현으로 홈페이지에 들어오는지 살펴볼 수 있다. AI가 만든 질문 목록에 실제 검색어와 고객의 짧은 표현을 더하면 놓친 질문을 찾는 데 도움이 된다.

모은 질문을 모두 같은 비중으로 다룰 필요도 없다. 실제 질문이 집중되는 주제부터 답변 페이지를 점검하고, 자주 바뀌는 영업시간이나 예약 가능일은 최신 정보를 확인할 방법과 수정 날짜를 함께 안내하는 것이 좋다. 문서에 없는 정보를 물었을 때는 확인할 수 없다고 안내하는지도 점검해야 한다.

이 연구 결과를 어디까지 믿어야 할까?

이 연구는 실제 이용 기록이 아니라 설문으로 질문을 수집했다. 설문 응답자는 89명이었고 질문은 322개였다. 질문을 짧게 적었을 가능성도 있으며, 통계 검정에서는 질문들이 서로 독립적이라고 가정했다. AI 질문 역시 문서 정리 AI의 기본 설정 하나로 만들었다.

다른 환경에서는 질문 방식이 달라질 수 있다. 네이버는 쇼핑 AI 에이전트 이용자의 70% 이상이 15자 이상의 구체적인 질문을 쓴다고 밝혔다. 이탈리아 밀라노비코카대의 학생 안내 챗봇 시험에서도 자료에 있는 정보를 빠뜨리거나 누를 수 없는 링크를 만드는 문제가 나타났다. 다만 이런 결과만으로 한국 동네 가게 고객의 질문 특성을 확정할 수는 없다.

핵심은 AI 질문을 버리는 것이 아니라 역할을 나누는 것이다. AI가 만든 질문으로 홈페이지 자료의 범위를 점검하고, 실제 고객 질문으로 자주 찾는 정보와 검색 성능을 확인해야 한다. 질문 목록의 개수보다 실제 고객의 질문을 얼마나 반영했는지가 더 중요하다.

같이 읽을 글

• AI가 만든 고객 질문으로 노출을 재도 괜찮을까?
• FAQ 질문은 어떻게 골라야 할까?
• AI 노출 점수 40%, 믿어도 될까?
• AI가 고객 대신 답한 결과를 믿어도 될까?

자료 출처

• Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation(폴란드 바르샤바공대 수학·정보과학부·arXiv 2609.14579·2026년 9월 제출, CIKM 2026 발표 예정, AI 질문 1,851개·학생 질문 322개)
• 같은 논문 HTML 본문(표 1·2·3, 그림 1·2, 4.4절 답할 수 있는가, 5절 한계와 점검표)
• 네이버 쇼핑 'AI 에이전트' 정식 출시…대화하며 구매까지 제안(연합뉴스·2026년 7월 1일, 이용자 70% 이상 15자 이상 질의)
• Unimib Assistant: designing a student-friendly RAG-based chatbot for all their needs(이탈리아 밀라노비코카대·arXiv 2411.19554·2024년, 학생 6명 면담·6명 사용성 시험)
• 실적 보고서(Google 검색 결과): 개요 및 기본 설정(구글 서치콘솔 도움말, 검색어 측정기준)