# AI는 고객 후기를 어디까지 제대로 읽을까?

_AI가 후기로 만든 첫 비교 기준은 후기의 59.1%만 설명했다_

> AI는 고객 후기를 읽고 비교 기준을 만들 수 있지만, 처음부터 모든 중요한 기준을 잡지는 못한다. 프린터 후기 4,627개와 호텔 후기 5,159개 실험에서 그 한계가 확인됐다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-review-criteria-59-percent-coverage
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-29

AI에게 「이 중에 뭐가 제일 나아?」라고 물으면 AI는 고객 후기를 읽고 비교 기준을 스스로 만든다. 그런데 그 첫 기준이 고객이 실제로 따지는 세부 사항을 모두 담는 것은 아니다. 프린터 후기 4,627개 실험에서는 처음 만든 기준이 후기의 59.1%만 설명했다.

AI가 후기로 만든 첫 비교 기준은 후기의 약 60%만 설명했고, 빠진 부분에는 1등을 바꾸는 이야기도 있었다.

## AI가 후기를 읽으면 어떤 기준부터 만들까?

중국 저장대 연구진은 아마존의 사무용 프린터 29종에 달린 영어 후기 4,627개를 대상으로 실험했다. 가격 조건을 적용한 뒤에는 14종을 비교했고, AI에는 「원격 근무 팀에 줄 복합기를 고른다」 같은 구매 목표를 줬다.

AI는 후기를 읽고 큰 기준과 세부 기준을 만들었다. 처음에는 와이파이 안정성, 맥 호환, 컬러 인쇄 품질처럼 구매 목표에 바로 연결되는 항목을 잘 잡았다. 문제는 그 기준으로 설명되지 않는 후기였다.

| 항목 | 프린터 실험 | 호텔 실험 |
|---|---|---|
| 후기 출처 | 아마존 사무용품 후기(영어) | 호텔 후기 모음 HotelRec(파리, 영어) |
| 후보 수 | 29종(가격 조건 적용 뒤 14종) | 20곳(평점 상위 12곳) |
| 후기 수 | 4,627개 | 5,159개 |
| AI가 처음 만든 기준 | 큰 기준 5개·세부 기준 15개 | 큰 기준 5개 |
| 쓴 AI | GPT-5.2 | GPT-5.2 |

처음 만든 기준 15개가 설명한 후기는 전체의 59.1%였다. 반대로 40%가 넘는 후기 조각은 어느 기준에도 들어가지 않았다.

이 숫자만 보면 AI가 후기를 절반 이상 읽어 냈다고 생각할 수 있다. 하지만 빠진 부분을 자세히 보면 이야기가 달라진다.

## 빠진 후기에서 순위를 바꿀 이야기도 나왔을까?

연구진은 AI가 만든 기준으로 설명되지 않은 후기 조각을 다시 살펴봤다. 사람이 그중 158개를 골라 보니 프린트 헤드가 막히거나 고장이 생기는 문제, 청소 비용에 대한 이야기가 많았다.

그래서 「프린트 헤드 고장」이라는 기준을 하나 추가했다. 그러자 2등이던 제품이 1등으로 올라섰다.

별점이 1점인 후기에서도 비슷한 일이 나타났다. 기준에서 빠진 후기 조각의 60%는 종이가 걸리거나 구겨지고 제품이 부서지는 문제를 이야기했다.

| 단계 | 기준이 설명한 후기 비율 | 순위 변화 |
|---|---|---|
| AI가 처음 만든 기준 | 59.1% | — |
| 「프린트 헤드 고장」 기준 추가 | — | 2등 → 1등 |
| 13번 고친 뒤(기준 5개 추가) | 68.3% | 상위 3개 고정 |
| 호텔 실험, 기준 4개 추가 뒤 | 69.5% | — |

후기에는 배송처럼 구매 결정과 직접 관련이 없는 이야기도 섞인다. 그래서 후기의 모든 내용을 비교 기준으로 설명하는 것이 반드시 좋은 것은 아니다.

그렇지만 처음 만든 기준에서 빠진 부분에 실제 구매 결과를 바꿀 만한 내용이 있었다는 점은 중요하다. 자주 나오는 이야기만 모으는 것과 고객이 실제로 중요하게 생각하는 내용을 잡는 것은 같은 일이 아니다.

## AI가 실제 후기에 없는 기준도 만들까?

호텔 실험에서는 다른 문제가 나타났다. 연구진은 파리 호텔 후기 5,159개를 놓고 AI가 출장 목적의 호텔을 고르도록 했다.

AI는 회의 장소까지 거리, 객실 안 업무 공간, 회의 시설, 체크인 속도라는 기준을 만들었다. 그런데 실제 후기 5,159개를 확인해 보니 이 네 기준에 맞는 후기가 한 건도 없었다.

| 호텔 실험 | 수치 |
|---|---|
| 후기가 0개인데 AI가 만든 기준 | 4개 |
| 평점 상위 5곳의 점수 폭 | 4.450~4.618점 |
| 기준 조정 전 상위 3곳 점수 차 | 0.002점 |
| 기준 조정 뒤 상위 3곳 점수 차 | 0.032점 |
| 1등과 2등을 가른 기준 | 취소 유연성·예약 신뢰성 |

AI가 보기에는 출장 고객에게 중요해 보이는 기준이었다. 하지만 실제 고객이 남긴 후기에서는 그 기준을 뒷받침할 내용이 없었다.

반대로 사람이 후기를 다시 보고 넣은 기준에는 직원 응대, 예약 신뢰성, 조식, 걸어서 갈 수 있는 편의시설이 있었다. 평점만으로는 호텔 사이의 차이도 크지 않았다.

상위 5곳의 평점은 4.450점에서 4.618점 사이였다. 기준을 조정하기 전 상위 3곳의 점수 차이는 0.002점에 불과했다.

그런데 기준을 조정한 뒤에는 상위 3곳의 점수 차이가 0.032점으로 벌어졌다. 1등과 2등을 가른 내용은 취소 유연성과 예약 신뢰성이었다.

## AI가 중요하다고 정한 기준의 무게는 믿어도 될까?

비교 기준을 만들었다고 끝나는 것도 아니다. 어떤 기준이 더 중요한지 정해야 최종 순위를 만들 수 있기 때문이다.

연구진은 전자제품, 여행, 식당, 교육, 건강, 금융 등 20가지 목표를 놓고 AI에게 기준끼리 중요도를 비교하게 했다. 모두 117개의 중요도 비교표를 만들었다.

그런데 처음부터 앞뒤가 맞는 비교표는 67개였다. 비율로는 57.3%다.

| 항목 | 수치 |
|---|---|
| 실험한 목표 수 | 20가지 |
| AI가 만든 중요도 비교표 | 117개 |
| 처음부터 앞뒤가 맞은 비교표 | 67개(57.3%) |
| 고친 뒤 통과 | 117개(100%) |
| 사용자 평가 참가자 | 8명(55분씩) |
| 「점수가 어떻게 나왔는지 이해됐다」 | 5점 만점 4.75점 |
| 「AI에게 바로 묻는 것보다 믿음이 간다」 | 5점 만점 4.38점 |

예를 들어 A가 B보다 3배 중요하고 B가 C보다 3배 중요한데, A와 C는 비슷하게 중요하다고 판단하면 서로 맞지 않는다. 이런 비교가 허용 기준을 넘는 경우가 42.7% 있었다.

연구진은 이 비교표를 고치는 절차를 거쳤다. 그 뒤에는 117개가 모두 기준을 통과했다.

구매 담당 임원들의 평가에서도 차이가 나타났다. 한 참가자는 챗GPT에 후기를 바로 넣었더니 「값이 적당하고 품질이 좋다」 같은 일반적인 말은 나오지만 실제로 따지던 세부 사항은 빠졌다고 말했다.

다만 모든 구매에서 사람이 기준을 고치는 것이 필요한 것은 아니다. 한 참가자는 가벼운 구매라면 AI와 몇 번 대화하는 편이 더 빠르다고 답했다.

## 그렇다면 우리 가게 후기는 어떻게 남겨야 할까?

이 실험은 사람이 AI의 첫 기준을 다시 살펴보고 고치는 과정을 시험한 것이다. 고객이 챗GPT에 바로 가게를 물어보는 상황에서는 그 고치는 과정이 없을 수 있다.

따라서 AI가 처음부터 자주 나오는 이야기만 기준으로 삼거나, 실제 후기에는 없는 기준을 만들 가능성을 생각해야 한다. 이것은 실험에서 확인된 사실과 고객이 AI를 사용하는 상황을 연결한 예상이다.

다른 조사에서도 AI 추천이 후기의 양과 내용에 기대는 모습이 나타났다. 발리의 식당·카페·바 4,776곳을 조사한 결과 AI가 한 번도 추천하지 않은 곳이 85.6%였고, 홈페이지와 후기 수가 추천 가능성을 높이는 요소로 나타났다.

| 다른 조사 | 수치 |
|---|---|
| 발리 식당·카페·바 4,776곳 전수 조사: AI가 한 번도 추천하지 않은 곳 | 85.6% |
| 같은 조사: 추천 가능성을 높인 요소 | 홈페이지 1.92배·후기 수 1.64배 |
| 같은 조사: 별점의 영향 | 0.89배 |
| 미국 동네 의사 추천 실험: 검색을 켠 AI가 고른 의사의 후기 수 | 다른 의사의 3~5배 |

이런 상황에서 중요한 것은 고객이 실제로 따지는 내용을 구체적으로 남기는 것이다(예상). 예약 변경이나 취소 규정, 주차, 대기 시간, 문제가 생겼을 때 어떻게 처리하는지처럼 고객이 판단할 때 필요한 내용을 후기 답글과 홈페이지에 구체적으로 적어 둘 수 있다.

후기에 한 번도 나오지 않는 내용은 AI가 근거 없이 채우거나 비교에서 빠뜨릴 수 있다. 반대로 고객이 실제로 경험한 세부 사항이 여러 곳에 구체적으로 남아 있으면 AI가 가게를 설명하고 비교할 때 사용할 수 있는 재료가 늘어난다.

핵심은 후기를 많이 받는 것만이 아니다. 고객이 실제로 비교할 때 필요한 내용이 후기와 홈페이지에 구체적으로 드러나는 것도 중요하다.

① AI가 처음 만든 프린터 비교 기준 15개는 후기 4,627개의 59.1%만 설명했다 ② 빠진 후기에서 찾은 「프린트 헤드 고장」 기준 하나로 2등 제품이 1등으로 바뀌었다 ③ 호텔 후기 5,159개에는 AI가 만든 기준 4개를 뒷받침하는 후기가 0건이었다 ④ AI가 만든 중요도 비교표 117개 중 처음부터 앞뒤가 맞은 것은 67개, 57.3%였다

## 같이 읽을 글

 

- AI는 노트북 하기 좋은 카페를 어떻게 고를까?

- AI는 고객 후기를 어떻게 골라서 보여줄까?

- 후기는 어디에 있어야 AI가 읽을까?
 

## 자료 출처

 

- CritLens: Visual Analytics for Criteria Discovery in Review-Based Decision Making(Wu·Zhou·Zhang·Chen, 저장대 CAD&CG 국가중점실험실, 2026년 6월 arXiv 제출, 아마존 프린터 후기 4,627개·파리 호텔 후기 5,159개·참가자 8명)

- 같은 연구 전문(HTML판, 사례 연구·중요도 비교표 117개 실험 수록)

- HotelRec: a Novel Very Large-Scale Hotel Recommendation Dataset(Antognini·Faltings, EPFL, 2020, 실험에 쓴 호텔 후기 모음)

- Amazon Review Data 2018(Ni·Li·McAuley, UC 샌디에이고, 실험에 쓴 아마존 후기 모음)

- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(Zheng 등, UC 버클리 등, 2023, AI 비교 판정의 위치·길이 치우침)

- Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census(Pitenin, 2026년 8월 arXiv, 발리 4,776곳·AI 4종)

- Understanding AI Provider Recommendations in Local Service Markets(Ibrahim·Zaki, 2026년 9월 arXiv, 동네 의사 추천·후기 수 3~5배)