AI가 우리 가게 후기를 추천 근거로 쓸까?
후기 문장이 AI 추천에 들어가는 조건은 따로 있다
AI가 여행객에게 맛집을 추천할 때 실제 고객 후기를 근거로 붙이기도 한다. 하지만 후기를 많이 붙인다고 추천이 더 정확해지는 것은 아니다. 미국 8개 도시에서 1만 건의 여행 추천 대화를 시험한 결과, 첫 추천 정답률은 53.3%였고 후기 인용을 강제한 방식은 38.1%였다.
AI는 후기를 인용할 수 있지만, 인용한 문장이 추천 이유를 실제로 뒷받침하는지는 따로 확인해야 한다.
AI가 후기를 붙이면 추천이 더 정확해지나
이번 실험에서는 그렇지 않았다. 아무 제약 없이 AI가 바로 답한 방식의 첫 추천 정답률은 0.533이었다. 반면 후기를 먼저 찾고 그 문장을 그대로 인용하게 한 방식은 0.381로 내려갔다.
대신 인용 밀도는 0.162에서 0.388로 높아졌다. 후기 문장은 더 많이 붙었지만, 가게를 제대로 고르는 능력은 오히려 낮아진 셈이다. 연구진은 이런 현상을 근거를 대느라 정확도를 내주는 「정확도 세금」이라고 설명했다.
| 항목 | 숫자 |
|---|---|
| 여행 추천 대화 | 10,000편 (평균 10.5턴) |
| 장소 | 2,400곳 (식당· |
| 후기 | 34,208개 (장소당 평균 14.3개, 평균 별점 3.8) |
| 대화당 후보 / 대화당 추천 | 8곳 / 평균 3.3곳 |
| 거절 발화 비율 | 29.4% |
| 비교한 방식 / 채점 지표 | 14가지 / 25개 |
| 사람 검수 | 90건, 검수자 5명 |
실제 후기 문장을 붙였으면 근거가 되는 것 아닌가
그렇지는 않다. 후기 문장을 실제로 옮겼는지와 그 문장이 추천 이유를 받쳐 주는지는 다른 문제다.
AI를 쓰지 않는 검색 방식은 후기 문장을 거의 그대로 옮기는 데 0.997~0.999로 높은 점수를 받았다. 하지만 그 문장이 추천 이유를 실제로 뒷받침하는지를 따지자 0.110~0.193으로 떨어졌다. AI 방식은 이 점수가 0.029~0.050이었다.
예를 들어 고객이 「조용하고 2만 원대인 곳」을 찾는다고 하자. 후기에서 「음식이 맛있다」는 문장을 정확하게 가져왔다고 해도 조용한지, 가격이 맞는지는 설명하지 못한다.
| 방식 | 첫 추천 정답률(R@1) | 상위 3곳 안 정답률(R@3) | 근거 점수(CGS) | 인용 밀도 | 거절 뒤 회복률 |
|---|---|---|---|---|---|
| AI 바로 답하기 | 0.533 | 0.754 | 0.636 | 0.162 | 0.988 |
| AI + 대화 조건 추적(DST) | 0.442 | 0.579 | 0.634 | 0.194 | 0.895 |
| AI + 후기 인용 제약(RAG-Citation) | 0.381 | 0.436 | 0.658 | 0.388 | 0.863 |
| AI + 여러 후기 요약 종합(MRS) | 0.281 | 0.297 | 0.008 | 0.001 | 0.263 |
| 단어 겹침 검색(TF-IDF) | 0.257 | 0.321 | 0.776 | 0.377 | 0.891 |
| 의미 검색(Dense) | 0.243 | 0.305 | 0.864 | 0.393 | 0.821 |
| 인기순 | 0.140 | 0.189 | 0.802 | 0.411 | 0.626 |
| 근거 채점 방식 | AI 없는 검색 방식 | AI 방식 |
|---|---|---|
| 글자 그대로 옮겼나(GS) | 0.997~0.999 | 0.981~0.996 |
| 추천 이유를 실제로 받쳐 주나(NLI) | 0.110~0.193 | 0.029~0.050 |
| 조건 언급 옆에 인용이 붙었나(PC) | 0.373~0.733 | 0.291~0.324 (요약 종합 방식 제외) |
그럼 어떤 후기 문장이 AI의 근거가 되기 쉬울까
이번 실험이 직접 확인한 것은 후기 문장이 고객 조건을 얼마나 잘 받쳐 주는지다. 그래서 「맛있어요」처럼 범위가 넓은 문장보다 가격, 거리, 분위기처럼 조건 하나를 분명하게 설명하는 문장이 더 유용하다.
「가성비 좋아요」보다 「점심 정식 1만 1천 원, 2인 3만 원대」가 가격 조건을 더 분명하게 보여 준다. 「찾아가기 쉬워요」보다 「지하철 ○○역 2번 출구에서 걸어서 6분」이 거리 조건을 더 직접적으로 설명한다.
| 고객 조건 | 근거로 쓰이기 어려운 문장 | 근거로 쓰이기 쉬운 문장(예시) |
|---|---|---|
| 가격 | 「가성비 좋아요」 | 「점심 정식 1만 1천 원, 2인 3만 원대」 |
| 거리 | 「찾아가기 쉬워요」 | 「지하철 ○○역 2번 출구에서 걸어서 6분」 |
| 분위기 | 「분위기 좋아요」 | 「테이블 8개, 저녁 7시 이후 조용한 편」 |
| 거절 뒤 조건 | (없음) | 「주차 3대, 유아 의자 2개, 브레이크 타임 15~17시」 |
고객이 「거기 말고」라고 하면 AI는 다시 고를까
여행 추천에서는 첫 추천만 중요한 것이 아니다. 고객이 「거기 말고」, 「주차되는 곳」, 「아이와 갈 수 있는 곳」처럼 조건을 바꾸면 AI가 다시 후보를 골라야 한다.
이번 실험에서 AI가 바로 답하는 방식은 거절 뒤 회복률이 98.8%였다. 반면 여러 후기를 주제별로 모아 요약하는 방식은 26.3%에 그쳤다. 후기의 주제별 빈도만 보는 방식은 고객의 새로운 조건을 따라가는 데 약했다.
다만 이 결과가 모든 AI에서 항상 같다는 뜻은 아니다. 장소 1,200곳짜리 이전 자료에서 제미나이 2.5 플래시로 다시 시험했을 때는 검색 방식의 회복률이 0.978, AI 바로 답하기가 0.812였다. 자료와 AI가 함께 달라졌기 때문에 어느 한 가지 원인 때문이라고 단정할 수는 없다.
동네에 비슷한 가게가 많으면 더 어려울까
그렇다. 후보가 많아지면 AI가 고객 조건에 맞는 한 곳을 정확히 고르기가 어려워졌다.
후보가 8곳일 때 AI 바로 답하기의 첫 추천 정답률은 0.533이었다. 같은 도시와 같은 종류의 장소를 50~100곳으로 넓히자 0.132로 내려갔다. 단어 검색은 0.257에서 0.099로 떨어졌고, 인기순은 0.140에서 0.012까지 내려갔다.
| 후보 범위 | AI 바로 답하기 | 단어 검색 | 의미 검색 | 인기순 |
|---|---|---|---|---|
| 후보 8곳 | 0.533 | 0.257 | 0.243 | 0.140 |
| 후보 50~100곳 | 0.132 | 0.099 | 0.033 | 0.012 |
여행객이 실제로 AI에게 가게를 물어볼까
한국에서는 여행에 AI를 쓰는 사람이 적지 않다. 부킹닷컴의 2026년 9월 조사에서는 지난 1년 동안 여행 계획이나 여행 중 AI를 써 봤다는 한국인이 69%였고, 세계 평균은 50%였다.
한국관광공사 조사에서는 최근 3년 안에 한국을 다녀간 외국인 2,466명 가운데 69.9%가 생성형 AI를 사용했다. 그중 58.9%는 가 볼 곳을 추천받았고, 45.4%는 AI가 추천한 곳에 실제로 갔다.
구글도 2024년 10월부터 지도에서 제미나이를 활용해 후기를 요약하고 장소에 대해 질문할 수 있는 기능을 넣었다. 여행객이 가게를 찾는 과정에서 AI가 장소 정보를 다루는 일이 이미 시작된 것이다.
| 조사 | 숫자 |
|---|---|
| 부킹닷컴 2026.9 (32,800명) | 한국인 AI 여행 활용 69% / 세계 50% |
| 한국관광공사 (방한 외국인 2,466명) | 생성형 AI 활용 69.9% / 장소 추천 58.9% / AI 추천 장소 실제 방문 45.4% / 20대 83.1% |
| 스카이스캐너 2025.6~7 (2만 명↑) | AI를 믿고 쓰겠다 세계 54% / 한국 48% |
| 구글 지도 2024.10 | 월 이용자 20억 명 / 장소 2억 5천만 곳 |
우리 가게 후기가 근거로 쓰이려면 무엇을 해야 하나
후기를 많이 모으는 것만으로는 부족하다. 고객이 AI에게 어떤 조건을 말할지를 생각하고, 그 조건을 확인할 수 있는 사실 문장을 홈페이지에 갖춰 두는 것이 출발점이다.
가격이라면 메뉴 가격을 구체적으로 적는다. 거리라면 역에서 얼마나 걸리는지 적는다. 분위기라면 테이블 수나 특정 시간대의 분위기를 적는다. 주차, 유아 의자, 브레이크 타임처럼 고객이 다시 조건을 바꿀 때 확인할 정보도 적어 두는 편이 좋다.
한국에서는 후기의 위치도 중요하다. 재료에서 확인한 내용에 따르면 네이버 블로그는 AI 검색 봇 9종을 모두 막아 두었다. AI사이트코리아가 9월 16일 챗GPT 답의 인용 31건을 확인했을 때 가게 자체 홈페이지는 10건이었지만 네이버 블로그는 0건이었다.
후기가 블로그에만 있다면 AI가 그 문장을 가져갈 길이 좁을 수 있다. 생성형 엔진 최적화에서는 후기를 홈페이지에도 옮기고, 누가 언제 쓴 후기인지 함께 적는 방식이 안전하다.
이 실험만으로 한국 가게를 판단해도 될까
그렇게 보기는 어렵다. 자료는 미국 8개 도시의 옐프 후기였고 한국 가게나 한국어 후기는 포함되지 않았다. 실제 고객이 아니라 AI가 47가지 고객 유형의 대화를 만들어 시험했다는 점도 한계다.
정답을 장소 한 곳으로만 매기면 실력을 낮게 볼 수 있다는 점도 있다. 조건에 맞는 다른 후보까지 정답으로 인정하자 정답률이 9~14%포인트 올라갔다. 사람 검수자 5명의 의견 일치도도 보통 수준이었다.
따라서 이 실험이 말해 주는 핵심은 「이렇게 하면 우리 가게가 반드시 AI 추천에 나온다」가 아니다. 후기가 실제로 존재하는 것과 그 후기가 고객의 조건을 설명하는 근거가 되는 것은 다르다는 점이다.
① 첫 추천 정답률은 53.3%였고, 후기 인용을 강제하면 38.1%로 내려갔다. ② 후기 문장을 그대로 옮기는 점수는 99%대였지만, 추천 이유를 실제로 받치는 점수는 3~19%였다. ③ 고객 발화의 29.4%가 거절이었고, 후기 요약 방식의 거절 뒤 회복률은 26.3%였다. ④ 한국인 69%가 여행에 AI를 썼고, 가격·거리·좌석 같은 조건을 설명하는 문장이 홈페이지의 출발점이다.
같이 읽을 글
- AI는 우리 가게 후기를 골고루 읽을까?
- AI는 우리 가게를 어떤 기준으로 목록에 넣을까?
- AI가 우리 가게 글을 찾으면 답에도 써 줄까?
- 고객이 AI에게 물으면 우리 가게가 추천될까?
자료 출처
- Trace: Tourism Recommendation with Accountable Citation Evidence(UNSW Sydney·연세대 등, arXiv 2605.07677, 2026.5, 대화 10,000편·옐프 장소 2,400곳·후기 34,208개)
- 부킹닷컴 2026 글로벌 여행 트렌드 조사·한국관광공사 방한 외국인 AI 활용 조사(한국경제, 2026.9, 34개국 32,800명·한국 800명 / 외국인 2,466명)
- 스카이스캐너 미래 여행 조사(뉴스토마토, 2025.10, 2만 명 이상·한국 1,000명, 2025.6~7 조사)
- 스태티스타 여행자 AI 활용 조사(디지털데일리, 2026.6, 여행자 37,325명·호텔 171곳)
- Google Maps updates: Gemini arrives(구글 공식 블로그, 2024.10, 월 이용자 20억 명·장소 2억 5천만 곳)
작성일
← 칼럼 목록