AI가 나눈 고객 후기, 그대로 믿어도 될까?
수백 개 후기를 AI로 주제별로 나눌 때 꼭 원문을 확인해야 하는 이유
AI로 고객 후기를 주제별로 나누는 것은 쓸 만하다. 다만 AI가 붙인 주제 이름을 사실로 받아들이면 안 된다. 독일 연구진은 6종 자료에서 원문과 연결된 329만 건을 확인했지만, 이것이 주제를 제대로 나눴다는 증거는 아니라고 했다.
AI가 만든 주제는 결론이 아니라 원문을 찾아보기 위한 출발점이다.
AI에게 후기를 맡겨도 괜찮을까?
후기가 수백 개 쌓이면 사람이 전부 읽기 어렵다. 사람이 직접 읽으면 원문 맥락을 볼 수 있지만 시간이 오래 걸리고, 검색은 원하는 말을 미리 알아야 한다. 기존 주제 모델이나 AI 요약은 빠르지만 각각 약점이 있다.
| 방법 | 장점 | 약점(연구진 정리) |
|---|---|---|
| 사람이 직접 읽고 분류 | 원문 맥락이 남는다 | 느리다. 양이 늘면 감당하지 못한다 |
| 검색(키워드 찾기) | 원하는 글이 바로 나온다 | 무엇을 찾을지 먼저 알아야 한다 |
| 기존 주제 모델(단어 묶음) | 양이 많아도 빠르다 | 단어 목록만 나와서 해석은 사람 몫이다. 돌릴 때마다 결과가 달라진다 |
| AI에 한 번에 요약시키기 | 읽기 쉽다 | 다시 돌리면 결과가 바뀌고, 지어낸 내용이 섞일 수 있다. 원문과 대조하기 어렵다 |
특히 처음 만든 주제 지도가 무엇을 볼지를 정한다는 점이 중요하다. 「친절」「맛」처럼 큰 주제만 남고 소수가 쓴 불만이 빠지면, 그 뒤의 분석도 처음 만들어진 틀을 따라갈 수 있다.
AI가 붙인 주제가 맞는지는 어떻게 확인할까?
핵심은 주제마다 근거가 되는 원문을 붙이는 것이다. 독일 하노버 L3S 연구소와 다름슈타트 공대 연구진은 후기 한 편 전체를 한 주제에 넣는 대신, 후기에서 짧은 근거 구절을 먼저 뽑고 이를 모아 큰 갈래, 묶음, 세부 주제로 이어지는 지도를 만들었다.
구절마다 원문에서 어느 위치에 있는지도 기록했다. 그래서 주제를 눌렀을 때 해당 주제를 뒷받침하는 원문 문장이 표시되도록 했다.
연구 자료는 학회 논문 심사평, 트립어드바이저 호텔 후기, 음악 평론, 링크드인 채용 공고, 요리법, 유럽의회 토론 등 6종이었다. 문서 수는 2,108개부터 101,699개까지였다.
| 실험 자료(연구진 사용) | 분야 | 문서 수 |
|---|---|---|
| 학회 논문 심사평 | 학술 | 2,108 |
| 트립어드바이저 호텔 후기 | 숙박 후기 | 2,864 |
| 음악 평론 | 비평 | 24,640 |
| 링크드인 채용 공고 | 노동시장 | 32,686 |
| 요리법 | 안내문 | 39,447 |
| 유럽의회 토론 | 정치 연설 | 101,699 |
이 방식의 장점은 후기 하나가 여러 주제에 들어갈 수 있다는 것이다. 「음식은 좋은데 주차가 불편하다」는 후기라면 「맛」과 「주차」에 함께 들어갈 수 있다.
원문을 붙이면 정말 더 정확해질까?
원문과 근거를 연결하는 과정 자체는 매우 잘 됐다. 주제와 근거를 잇는 3,290,920건의 연결을 검사했는데 원문 속 위치와 어긋난 경우는 0건이었다.
다만 이것은 AI가 주제를 정확하게 만들었다는 뜻은 아니다. 연구진도 원문 위치가 맞는 것과 주제가 맞는 것은 다른 문제라고 선을 그었다.
채용 공고 실험에서는 세 가지 방식을 비교했다. 근거 문장 지도는 주제의 깔끔함과 이름 적절성에서 여러 자료 가운데 높은 점수를 받았지만, 호텔 후기에서는 주제를 한 줄로 뽑는 단순한 방식이 앞섰다.
| 채용 공고 결과 | 주제를 한 줄로 뽑는 방식 | 큰 분류부터 짜는 방식 | 근거 문장 지도 |
|---|---|---|---|
| 맨 위 단계 | 24개(한 단계뿐) | 8개 | 14개 + 「기타」 1개 |
| 중간 단계 | — | 32개 | 350개 |
| 세부 주제 | — | — | 3,245개 |
| 주제 깔끔함 점수(5점 만점, 6종 평균) | 3.60 | 3.96 | 4.53(「기타」 포함 4.30) |
| 이름 적절성 점수(5점 만점) | 3.50 | 3.79 | 4.33(「기타」 포함 4.04) |
연구진이 매긴 점수도 주제가 실제로 맞는지를 직접 잰 것은 아니다. 자료마다 세부 주제 96개를 골라 AI 심사위원이 평가한 결과다.
원문 연결은 어디까지 확인됐을까?
문서 101,699개를 처리하는 데 약 18시간이 걸렸다. 이 실험에서는 H100 GPU 4장과 동시 작업 128개를 사용했다.
| 원문 대조 검사 | 수치 |
|---|---|
| 주제와 근거를 잇는 연결 | 3,290,920건 |
| 원문 속 글자 위치 기록 | 4,357,621개 |
| 위치가 원문과 어긋난 경우 | 0건 |
| 문서 101,699개 처리 시간 | 약 18시간(H100 GPU 4장, 동시 작업 128개) |
그래서 가게에서 중요한 것은 「AI가 전부 맞았나」를 기대하는 것이 아니다. AI가 제시한 주제를 보고, 실제 고객이 그런 말을 했는지 원문으로 돌아갈 수 있어야 한다는 점이다.
AI 분류의 오류가 무작위가 아닐 수 있다는 연구도 있다. 방글라데시 로힝야 난민과 현지 주민 인터뷰를 AI로 분류한 연구에서는 응답자의 특성에 따라 오류가 한쪽으로 쏠렸고, 사람이 제대로 분류한 자료로 작은 모델을 따로 학습시킨 경우 오류와 쏠림이 더 적었다.
고객도 AI 후기 요약을 믿고 있다
후기를 확인해야 하는 이유는 사장님만의 문제가 아니다. 고객이 보는 후기 요약도 원문과 다를 수 있기 때문이다.
브라이트로컬의 미국 성인 1,002명 조사에서는 고객 82%가 AI가 만든 후기 요약을 읽는다고 답했고, 23%는 요약만 보고 결정한다고 답했다.
| 조사 | 숫자 |
|---|---|
| 브라이트로컬(미국 성인 1,002명, 2026.2) | 동네 가게 후기를 읽는다 97% · |
| 같은 조사 | AI가 만든 후기 요약을 읽는다 82% · |
| 같은 조사 | 최근 3개월 후기를 찾는다 74% · |
| 네이버 플레이스 AI 브리핑(2025.6.12 정식 시작, 2025.8 보도) | 체류 시간 +10.4% · |
후기에서 일부 불만이 요약 과정에서 빠진다면 고객이 보는 정보도 달라질 수 있다. 그래서 사장님이 후기를 분석할 때도 AI가 만든 요약이나 주제 이름만 보고 운영 결정을 내려서는 안 된다.
챗GPT로 후기를 나눌 때는 이렇게 확인하면 된다
먼저 후기에 번호를 붙인다. 그리고 AI에게 주제마다 후기 번호와 원문 문장을 그대로 인용하도록 요청한다. 그다음 각 주제에서 인용 5개를 골라 원문에서 직접 찾아본다.
| 단계 | 할 일 | 연구 속 근거 |
|---|---|---|
| ① 번호 붙이기 | 후기마다 1, 2, 3… 번호를 붙여 넣는다 | 문서마다 고유 번호(doc_id) |
| ② 근거 요구 | 「주제마다 후기 번호와 원문 문장을 그대로 인용해」라고 요청한다 | 주제마다 원문 문장 위치 |
| ③ 대조 | 주제마다 인용 5개를 골라 원문에서 찾기(Ctrl+F)로 확인한다 | 위치 불일치 0건 검사 |
| ④ 「기타」 열기 | 어디에도 안 들어간 후기를 따로 보여 달라고 해서 읽는다 | 「기타」 칸을 숨기지 않음 |
| ⑤ 작은 주제 확인 | 3건 이하인 주제를 합치지 말고 따로 적어 달라고 한다 | 작은 주제가 합쳐지며 소수 의견이 묻힘 |
| ⑥ 겹쳐 보기 | 「주차+불만」처럼 두 주제를 함께 말한 후기만 다시 뽑는다 | 두 주제 겹치기(200자 안) |
| ⑦ 다시 돌리기 | 같은 요청을 한 번 더 해서 주제가 크게 바뀌는지 본다 | 5번 나눠 묻고 0.7 이상만 묶기 |
원문에 없는 문장이 나오면 그 주제는 버리는 것이 안전하다. 주제 이름이 그럴듯해도 마찬가지다.
「기타」로 빠진 후기와 3건 이하인 작은 주제도 따로 봐야 한다. 처음 만든 주제 지도에서 작은 불만이 큰 주제에 합쳐져 묻힐 수 있기 때문이다.
두 주제를 겹쳐 보는 것도 가능하다. 연구에서는 200자 안에 두 주제가 함께 나오는 문서를 찾는 방식이 사용됐다. 가게 후기라면 「주차」와 「불만」을 함께 말한 후기를 다시 살펴보는 식이다.
마지막으로 같은 요청을 한 번 더 해 본다. 연구에서는 AI에게 작은 무더기로 5번 나눠 묻고, 같은 묶음에 들어간 비율이 0.7 이상인 구절끼리 연결했다. 가게에서 같은 작업을 반복했을 때 주제가 크게 달라진다면 세부 주제는 참고용으로만 보는 편이 낫다.
결국 AI에게 수백 개 후기를 먼저 읽히는 것은 가능하다. 다만 AI가 만든 「주제」를 답으로 쓰는 것이 아니라, 그 주제를 뒷받침하는 「원문」을 확인한 뒤 운영에 활용해야 한다.
요점 ① 원문 대조 연결 329만 건에서 어긋난 경우는 0건이었다. ② 실험 자료는 6종, 문서 수는 2,108~101,699개였다. ③ 미국 고객 82%가 AI 후기 요약을 읽고 23%는 요약만 보고 결정했다. ④ 후기 주제마다 인용 5개를 원문에서 확인하고 3건 이하 작은 주제와 「기타」도 따로 살펴봐야 한다.
같이 읽을 글
자료 출처
- EviMap: Evidence-Grounded Hierarchical Topic Maps for Exploring Unlabeled Corpora(L3S 연구소·다름슈타트 공대, arXiv 2609.06664, 2026.9, 자료 6종·문서 2,108~101,699개)
- EviMap 코드·대시보드 저장소(연구진 공개, 2026.9)
- Using Large Language Models for Qualitative Analysis can Introduce Serious Bias(Ashwin·Chhabra·Rao, arXiv 2309.17147, 로힝야 난민·방글라데시 주민 인터뷰)
- 같은 논문 학술지판(Sociological Methods & Research, 2025.5)
- Local Consumer Review Survey 2026(브라이트로컬, 2026.2, 미국 성인 1,002명)
- 네이버 플레이스, AI 리뷰 요약으로 사용자 몰린다(중앙이코노미뉴스, 2025.8.23, 네이버 발표 수치)
- 네이버, 플레이스에도 'AI 브리핑' 도입(전자신문, 2025.6.16)
작성일
← 칼럼 목록