AI가 만든 고객 질문으로 노출을 재도 괜찮을까?

AI에게 고객이 검색할 만한 질문을 만들어 달라고 한 뒤, 그 질문으로 가게의 AI 노출을 재는 방법이 있다. 그런데 호주 RMIT대 연구에서 AI가 만든 질문 7만 7,004개 가운데 33.5%에 사람이 쓰지 않은 답 쪽 낱말이 들어갔다. 이런 질문을 그대로 측정에 쓰면 실제 고객이 보는 결과와 다른 결과를 잴 수 있다.

AI가 만든 질문은 고객이 실제로 쓰는 말과 같을까?

이번 연구는 검색 연구에서 오래 사용한 시험 자료를 대상으로 했다. 100개 주제에 실제 사람이 검색하기 전의 상황을 설명하고, 사람 263명이 그 설명만 읽은 뒤 첫 검색어를 적게 했다. 이렇게 모인 사람의 검색어는 1만 835개였다.

연구진은 같은 상황 설명을 AI 8종에 주고 검색어를 만들게 했다. 지시는 그냥 만들기, 전문가처럼 만들기, 아는 것만 쓰도록 제한하기 등 다섯 가지였다.

문제는 AI가 상황 설명에 없는 말을 끌어오는 경우였다. 사람이 검색하기 전에는 알기 어려운 전문 용어나 답에 등장하는 낱말이 질문에 섞였다.

예를 들어 광우병이 유행하던 때 영국에 다녀온 친구의 증상을 알아보려는 상황에서 사람은 「광우병 사람 증상」처럼 검색했다. 반면 AI는 「NHS 지침 프리온병 증상 고전형 대 변종 크로이츠펠트-야코프병」처럼 더 구체적인 말을 넣었다.

여기서 프리온병과 변종 크로이츠펠트-야코프병은 상황 설명에도, 사람이 만든 검색어에도 없었다. 그런데 정답 문서에는 자주 나왔다. 연구진은 이런 낱말을 「답 쪽 낱말」로 봤다.

왜 이런 낱말이 문제일까?

AI가 답을 어느 정도 알고 있는 상태에서 질문을 만들면, 실제 고객이 검색하기 전에는 쓰기 어려운 말이 질문에 들어갈 수 있다. 그러면 고객이 실제로 검색하는 과정과 AI가 만들어 낸 측정용 검색어의 출발점이 달라진다.

연구진이 분석한 AI 질문의 낱말 가운데 답 쪽 낱말은 7.40%였다. 100개 주제 가운데 97개에서 이런 낱말이 한 번 이상 나왔다.

사람 검수에서도 차이가 확인됐다. 세 사람이 92개 주제에서 뽑은 220쌍을 상황 설명만 보고 판단했을 때, 45.5%는 검색해 봐야 알 수 있는 말이 들어간 것으로 봤다. 개인 경험이 있어야 알 만한 말까지 포함하면 68.2%였다.

AI끼리는 이런 판단이 서로 비슷했지만, 사람과 AI의 판단은 일치도가 0.21~0.37에 그쳤다. 연구진은 AI들이 자기 지식을 보통 사람도 알고 있을 것으로 보는 쪽으로 함께 치우친 것으로 해석했다.

지시를 잘하면 문제가 줄어들까?

AI에게 「상황 설명에 없는 말은 쓰지 말라」고 제한하면 문제가 줄었다. 그래도 답 쪽 낱말이 들어간 질문은 20.7% 남았다.

반대로 「전문가처럼 만들어 달라」고 하면 답 쪽 낱말이 들어간 질문은 41.5%까지 올라갔다. 정답 문서의 일부나 핵심 낱말을 보여 주면 비율은 더 높아졌다.

AI 종류에 따라서도 차이가 있었다. 답 쪽 낱말이 하나도 없는 질문의 비율은 61.6%에서 73.6%까지 달랐다. 더 새 모델이라고 이런 문제가 자동으로 줄어든 것도 아니었다.

이 연구가 보여 주는 점은 단순하다. AI에게 고객처럼 질문하라고 시키는 것만으로는 실제 고객의 검색어가 만들어진다고 보기 어렵다.

그 질문으로 노출을 재면 결과가 얼마나 달라질까?

연구진은 사람 질문과 AI 질문을 같은 검색 시스템에 넣었다. 그리고 어떤 문서를 찾아오는지 비교했다.

사람 질문이 찾아온 상위 문서는 91%가 이미 사람이 관련성을 판정해 둔 문서였다. AI 질문에서는 이 비율이 47~74%로 떨어졌다.

사람 질문과 AI 질문이 찾아온 문서의 순위가 얼마나 겹치는지도 비교했다. 겹침 정도는 0.10~0.23이었고, 연구진이 잡은 기준 0.5에 크게 못 미쳤다.

다만 이 차이를 모두 답 쪽 낱말 때문이라고 보면 안 된다. 연구진은 검색 결과가 달라진 원인의 대부분이 질문에 사용한 낱말 전체의 차이였고, 답 쪽 낱말만으로 설명되는 몫은 2% 미만이라고 밝혔다.

그래도 질문 하나를 놓고 보면 영향은 분명했다. 답 쪽 낱말을 지웠을 때 검색 성적이 떨어지는 경우가 있었다. 따라서 AI가 만든 질문을 측정에 쓰기 전에는 어떤 낱말을 사용했는지 확인할 필요가 있다.

가게의 AI 노출을 잴 때는 어떻게 해야 할까?

이 연구는 AI 노출 측정 도구를 직접 시험한 연구가 아니다. 검색 연구용 질문을 비교한 연구다. 따라서 이 결과를 그대로 AI 노출 측정의 결과라고 말할 수는 없다.

다만 AI에게 고객 질문을 만들어 달라고 하고 그 질문으로 가게의 노출을 재는 방식이라면 같은 문제를 조심할 필요가 있다(예상). 가게 이름이나 전문 용어, 시술명처럼 고객이 검색하기 전에 알기 어려운 말을 AI가 먼저 넣으면 측정 질문 자체가 실제 고객의 질문과 달라질 수 있다.

특히 AI가 만든 질문을 많이 만든 뒤 그대로 사용하는 것보다, 고객이 실제로 사용하는 말을 기준으로 질문을 만드는 편이 이 문제를 줄이는 데 도움이 된다. 매장이나 전화, 후기에서 고객이 실제로 사용한 말을 참고하는 방법도 있다.

AI가 만든 질문을 사용할 때는 고객이 검색하기 전에 알기 어려운 낱말이 들어갔는지도 확인할 필요가 있다. 연구진은 이런 방식으로 질문을 여러 개 만든 뒤 답 쪽 낱말이 없는 질문을 고르는 방법도 시험했다.

후보를 5개만 만들어도 95%의 주제에서 답 쪽 낱말이 없는 질문을 골라낼 수 있었다. 20개로 늘리면 97%까지 올라갔다. 답 쪽 낱말을 피하는 목록을 주고 다시 만들게 했을 때는 930개 가운데 94.9%가 깨끗했다.

결국 핵심은 질문의 개수가 아니다. 그 질문이 실제 고객이 검색하기 전의 지식 수준에서 만들어졌는지를 확인하는 것이 중요하다.

같이 읽을 글

• AI 노출 점수 40%, 믿어도 될까?
• AI는 고객의 질문을 다시 쓴다
• 고객이 AI에 묻는 질문 중 「사겠다」는 질문은 몇 %일까?

자료 출처

• The "Curse of Knowledge" in LLM Query Simulation: Concept Provenance for Tracing Answer-Side Intrusion(Ma 등 5인·호주 RMIT대·2026년 8월 arXiv 제출·9월 개정·AI 질문 7만 7,004개와 사람 질문 1만 835개)
• 같은 연구 전체 본문(개정판 v2, 표 1·2와 그림 1~4 수록)
• TREC Web Track 자료(미국 국립표준기술연구소 NIST, 2009~2014 주제 출처)
• ClueWeb12 문서 모음(카네기멜런대 Lemur 프로젝트, 실험에 쓴 문서 모음)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge(2025년 2월 arXiv·AI가 AI를 채점할 때 생기는 치우침)
• AI 검색 트렌드 리포트 2026 하반기(오픈서베이 블로그, 2026.7.2, 전국 1,000명)