후기를 챗GPT에 넣기만 하면 될까?

고객 후기와 문의를 챗GPT에 넣고 「요즘 불만이 뭐냐」고 묻는 것만으로는 부족하다. 9,432건을 비교한 실험에서 후기를 미리 분류하고 연결해 둔 방식은 0.961점, 그때그때 찾아 읽는 방식은 0.651점이었다. 특히 불만이 늘었는지, 무엇을 고쳤는지처럼 숫자와 변화를 묻는 질문에서는 기록을 어떻게 모아 두었는지가 답을 좌우한다.

후기를 그냥 AI에게 다 읽히면 되는 것 아닌가?

후기 전체를 넣는 방법은 생각보다 간단하지 않다. 2026년 10월 공개된 한 실험에서는 AI 코딩 도구 커서(Cursor)에 대한 공개 후기 9,432건을 놓고 세 가지 방식을 비교했다.

한 방식은 AI가 질문을 받은 뒤 필요한 후기를 검색했다. 다른 방식은 질문을 쪼개 여러 AI가 조사하고 검증했다. 마지막 방식은 질문하기 전에 후기를 주제별로 분류하고, 날짜와 작성자와 출처를 연결해 두었다.

같은 모델과 같은 질문 30개를 사용했는데 결과는 달랐다. 미리 정리한 고객 맥락형은 종합 점수 0.961점으로 가장 높았고, 딥리서치형은 0.710점, 에이전트 검색형은 0.651점이었다.

AI를 여러 개 돌리면 정리 안 해도 되지 않나?

AI를 더 많이 돌리는 방식도 장점은 있었다. 딥리서치형은 근거의 질이 0.686에서 0.806으로 높아졌다.

하지만 분석 깊이는 에이전트 검색형과 같은 0.642점이었다. 30개 문항을 하나씩 비교했을 때도 15승 15패였다. 반면 미리 정리한 고객 맥락형은 딥리서치형보다 종합 점수에서 30문항 중 27문항을 이겼다.

여기서 중요한 것은 AI의 개수가 아니다. 질문을 받은 뒤 자료를 찾는 것과, 질문하기 전부터 같은 기준으로 자료를 쌓아 두는 것은 다르다.

그럼 AI가 「요즘 불만이 늘었다」고 하면 믿으면 되나?

이 질문에서 차이가 더 분명해진다. 실험에서 「최근 안정성 문제가 늘고 있다는 신호가 있나」라고 물었더니 세 방식이 서로 다른 답을 내놨다.

검색형은 최근 30일과 직전 30일을 비교해 96건과 851건을 찾았지만 스스로 확신이 낮다고 했다. 딥리서치형은 출처와 기간을 맞춰 3,720건과 3,717건을 비교하고 문제가 몰린 이틀을 찾았다.

미리 주제를 붙여 둔 방식은 안정성 관련 후기 86개를 확인했지만 추세는 판단하지 않았다. 앞 기간은 한 출처의 24건이고 최근 기간은 세 출처의 9,408건이라 제대로 비교할 수 없었기 때문이다.

같은 후기를 사용해도 비교 기간과 분모가 달라지면 결론이 달라진다. 「늘었다」는 말보다 먼저 「무엇과 무엇을 비교했는가」를 봐야 하는 이유다.

후기만 모아 두면 숫자는 정확하지 않나?

후기에는 비어 있는 정보도 많다. 실험의 9,432건 가운데 별점이 있는 글은 171건뿐이었고, 제품 버전이 적힌 글은 5건이었다. 나라 정보는 118건이었고 고객 계정이나 거래 정보는 없었다.

또 여러 번 이어 쓴 글을 대화 단위로 묶자 9,432건이 5,035개 대화로 줄었다. 같은 고객이 같은 불만을 여러 번 남길 수 있기 때문에 「불만 30건」이라는 숫자만으로는 실제 고객 수를 알 수 없다.

그래서 고객 기록에는 무엇을 세었는지 함께 남겨야 한다. 후기 개수만 쌓는 것이 아니라 날짜, 경로, 고객 구분, 주제, 원문, 그 뒤에 한 일까지 같은 기준으로 기록하는 것이 중요하다.

가게에서는 어떻게 정리하면 되나?

복잡한 프로그램이 없어도 된다. 직원 몇 명인 가게라면 표 한 장으로도 같은 원칙을 적용할 수 있다.

받은 날짜와 문의 경로를 적고, 고객을 구분할 때는 이름 대신 기호를 쓸 수 있다. 주제는 처음에 정한 목록을 계속 사용하고, 원문 한 줄과 담당자, 조치 내용, 해결 여부도 함께 남긴다.

특히 주제 이름을 매번 바꾸지 않는 것이 중요하다. 어느 달에는 「대기」, 다음 달에는 「기다림」으로 기록하면 AI가 같은 불만으로 비교하기 어렵다. 매달 같은 목록으로 기록해야 지난달과 이번 달을 같은 기준으로 볼 수 있다.

고객은 실제로 이런 기록을 중요하게 보나?

고객이 가게를 고를 때 후기의 영향은 크다. 브라이트로컬이 2026년 미국 성인 1,002명을 조사한 결과, 97%가 동네 가게 후기를 읽었다.

후기에 빠짐없이 답하는 가게를 이용할 가능성이 높다고 답한 사람은 80%였고, 틀에 박힌 답글에 거부감을 느낀 사람은 50%였다. 가게 추천에 생성형 AI를 사용한다는 응답은 1년 사이 6%에서 45%로 늘었다.

국내에서는 아직 활용 수준이 높지 않다. 중소기업중앙회 조사에서는 소상공인의 31.8%가 고객 응대에 디지털·AI 기술을 사용했고, 활용 수준이 기초·입문 단계라는 응답이 83.3%였다.

AI가 가게를 추천하는 상황이 늘어날수록 가게 안에 어떤 고객 기록이 쌓여 있는지도 중요해진다. 다만 고객 맥락형 기록이 실제 동네 가게에서 어느 정도 차이를 만드는지는 아직 예상이다.

그럼 이 실험 결과를 그대로 믿어도 되나?

그럴 필요는 없다. 연구진도 결과를 탐색 단계라고 적었다. 채점 기준을 30문항 중 28문항의 답을 본 뒤 다듬었고, 새 질문으로 충분히 반복 검증한 연구는 아니기 때문이다.

채점도 AI 심사자가 했고, 고객 맥락형이 단 인용 913개 가운데 실제 후기와 대조한 것은 127개였다. 연구 재료도 제품 하나와 석 달 치 영어권 공개 후기라서 한국의 네이버 리뷰나 전화 문의에서도 같은 결과가 나온다고 단정할 수 없다.

실제로 모든 질문에서 미리 정리한 방식이 이긴 것도 아니다. 「앱스토어에서 사람들이 무엇을 칭찬하나」처럼 원문 몇 개를 찾아 읽으면 되는 질문에서는 검색형이 0.887점으로 고객 맥락형의 0.833점보다 높았다.

결국 답은 단순하다. 후기 몇 개의 내용을 묻는 일이라면 지금 쓰는 챗GPT로도 충분할 수 있다. 하지만 「얼마나 늘었나」, 「누가 겪었나」, 「무엇을 고친 뒤 줄었나」를 계속 비교하려면 AI에게 묻기 전에 기록의 기준부터 만들어야 한다.

같이 읽을 글

• AI는 우리 가게 후기를 골고루 읽을까?
• AI가 나눈 고객 후기, 그대로 믿어도 될까?
• 싼 AI로 고객 문의를 분류해도 될까?
• 작은 가게도 AI 사용 계획이 필요한가?

자료 출처

• From Retrieval to Customer Context: Evaluating Frontier-Model Systems for Voice-of-Customer Analysis(Enterpret★·arXiv 2610.09375·2026년 10월 제출·커서 공개 후기 9,432건, 질문 30개)
• Lost in the Middle: How Language Models Use Long Contexts(스탠퍼드 등·arXiv 2307.03172·2023년 7월 제출·여러 문서 질의응답 실험)
• Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning(푸단대·arXiv 2510.26205·2025년 10월 제출·집계·정렬 문제 시험)
• Local Consumer Review Survey 2026(브라이트로컬★·2026년 2월·미국 성인 1,002명)
• AI 쓰는 줄 알았더니 배달앱·POS가 전부…소상공인 83%는 '디지털 초보'(헤럴드경제·2026년 6월 8일·중소기업중앙회 소상공인 500곳 조사)