AI가 뽑은 고객 불만 순위, 믿고 바꿔도 될까?

같은 고객 의견을 분석해도 가장 안정적인 AI의 주제 흔들림이 0.616에 달했고, 분류표를 고정하자 0.104로 줄었다.

고객 후기와 문의를 AI에 넣고 불만 상위 세 가지를 뽑았는데, 다음 날 순위와 건수가 달라졌다면 그 결과를 그대로 믿어서는 안 된다. 실제 고객 지원 의견을 분석한 실험에서 가장 안정적인 AI도 두 번 실행한 주제 목록의 61.6%가 서로 짝이 맞지 않았다. 반면 주제 분류표를 미리 정해 두자 주제 흔들림이 0.765에서 0.104로 줄었다.

AI에게 불만을 찾아 달라고 하기 전에, 무엇을 불만으로 분류할지부터 정해야 한다.

같은 후기를 넣었는데 왜 결과가 달라질까?

AI는 고객 의견을 읽고 비슷한 내용을 묶어 주제를 만든다. 그런데 주제를 어디까지 나눌지, 어떤 표현을 같은 문제로 볼지는 실행할 때마다 달라질 수 있다. 같은 고객이 남긴 내용도 한 번은 「가격」으로, 다른 한 번은 「가성비」나 「비용 부담」으로 묶일 수 있다는 뜻이다.

연구진은 한 기업의 실제 고객 지원 의견을 최신 AI 8종에 각각 10번씩 분석하게 했다. 고객이 의견을 남긴 이유 상위 5개, 고객 불편 상위 3개, 기능 요청과 우선순위를 묻는 세 가지 질문을 사용했다. 의견 100건을 대상으로 한 실험에서 주제 흔들림은 가장 안정적인 클로드 페이블 5도 0.616이었다.

실험 설계	숫자
비교한 최신 AI	8종
고객 의견 묶음	100건·1,000건·5,000건
고정 질문	3개
질문당 반복 실행	10회(5,000건은 5회)
비교한 실행 방식	3가지(그냥 생성·분류표 없이 단계 나누기·분류표 고정)
주제 짝짓기 기준	이름 뜻 유사도 0.82 이상
오퍼스 통제 실험 전체 비용	296.79달러

주제 흔들림은 두 번의 분석에서 나온 주제들을 뜻이 같은 것끼리 짝지었을 때, 짝을 찾지 못한 비율이다. 0이면 주제가 모두 일치하고, 1이면 겹치는 주제가 하나도 없다는 뜻이다. 따라서 숫자가 낮을수록 같은 자료를 반복해서 분석했을 때 결과가 일정하다.

어떤 AI를 골라야 결과가 덜 바뀔까?

이번 실험에서 주제 흔들림이 가장 낮았던 것은 클로드 페이블 5로 0.616이었다. GPT-5.6 솔은 0.706, 제미나이 3.1 프로 프리뷰는 0.877이었다. 다만 이 숫자는 실험에서 주제가 얼마나 달라졌는지를 보여 줄 뿐, 어느 AI가 고객의 진짜 불만을 더 정확하게 찾았는지는 알려 주지 않는다.

AI(의견 100건)	정상 답(질문별 10회 중)	주제 흔들림	건수 불일치	비용
분류표 고정 시스템(클로드 소넷 4.6 기반)	10·10·10회	0.000	0.000	14.488달러
클로드 페이블 5	10·10·9회	0.616	0.116	8.809달러
GLM 5.2	9·10·8회	0.657	0.152	3.237달러
클로드 오퍼스 4.8	9·10·6회	0.669	0.108	7.218달러
GPT-5.6 솔	10·10·10회	0.706	0.082	4.083달러
키미 K2.7 코드	9·10·9회	0.715	0.249	2.276달러
큐원 3.7 플러스	5·3·6회	0.817	0.167	0.784달러
딥시크 V4 프로	9·10·10회	0.854	0.136	2.009달러
제미나이 3.1 프로 프리뷰	10·10·10회	0.877	0.128	5.149달러

결과가 정해진 형식으로 나오는지도 확인해야 한다. 연구진은 질문별로 정상적인 답변이 10번 중 9번 미만인 AI를 순위 비교에서 제외했다. 큐원 3.7 플러스는 30번의 질문 가운데 정상 형식으로 답한 경우가 14번에 그쳤다.

AI를 고를 때는 이름이나 한 번의 답변만 볼 것이 아니다. 같은 자료를 여러 번 분석해 주제와 건수가 얼마나 일치하는지, 답변 형식을 제대로 지키는지 함께 살펴야 한다.

후기가 많아지면 분석도 더 정확해질까?

후기가 많으면 고객의 다양한 의견을 확인할 수 있다. 하지만 AI가 모든 의견을 한꺼번에 분석할 때 결과가 반드시 안정되는 것은 아니다. 연구진이 가장 안정적이었던 페이블 5로 비교하자, 주제 흔들림은 의견 100건에서 0.552, 1,000건에서 0.623, 5,000건에서 0.726으로 커졌다.

의견 수	그냥 생성 흔들림	분류표 고정 흔들림	그냥 생성 건수 불일치	그냥 생성 비용	분류표 고정 비용
100건	0.552	0.013	0.083	8.79달러	14.93달러
1,000건	0.623	0.148	0.098	51.25달러	17.61달러
5,000건	0.726	0.033	0.075	143.25달러	14.81달러

5,000건을 분석할 때는 한 번의 실행에 약 74만 4,000토큰이 들어갔다. 15번 실행 가운데 정상적인 답변은 9번뿐이었다. 자료가 커질수록 분석 비용도 달라질 수 있고, 답변 형식이 무너질 가능성도 살펴야 한다.

후기 수백 건을 모아 둔 동네 가게에서도 AI 결과를 확인하는 절차가 필요하다. 다만 이 실험은 한 기업의 여러 언어 고객 지원 의견을 대상으로 했다. 한국어로 작성된 동네 가게 후기에서도 같은 정도로 흔들린다고 단정할 수는 없다.

후기를 여러 묶음으로 나누면 나아질까?

후기를 나눠 분석한 뒤 결과를 합치면 더 안정적일 것이라고 생각할 수 있다. 하지만 연구진이 의견 1,000건을 대상으로 비교한 결과는 달랐다. 클로드 오퍼스 4.8로 후기를 한 번에 분석한 방식의 주제 흔들림은 0.765였고, 100건씩 10묶음으로 나눠 분석한 방식은 0.841이었다.

방식(오퍼스 4.8·의견 1,000건)	주제 흔들림	건수 불일치	정상 답(30회 중)	비용
그냥 생성	0.765	0.244	30회	21.821달러
분류표 없이 단계 나누기	0.841	0.247	28회	37.299달러
분류표 고정	0.104	0.000	28회	16.536달러

가장 안정적인 결과를 낸 방식은 주제 분류표를 미리 정해 두는 것이었다. 분류표를 고정하자 주제 흔들림은 0.104로 줄었고, 두 번 모두 나온 주제의 건수 불일치는 0이었다. 분류표 없이 한 번에 분석하는 방식보다 흔들림이 86.4% 줄었다.

분류표에는 가게에서 실제로 확인하고 싶은 항목을 넣으면 된다. 예를 들어 맛, 양, 친절, 대기, 가격, 주차처럼 주제를 먼저 정하고, AI가 새로운 주제를 임의로 만들지 않고 정해진 항목 안에서 분류하도록 요청하는 방식이다.

결과가 매번 같으면 믿어도 될까?

여기서 주의할 점이 있다. AI가 같은 결과를 반복해서 내놓는 것과 그 결과가 정확한 것은 서로 다른 문제다. 잘못된 분류표를 사용하면 틀린 결과를 일관되게 반복할 수도 있다.

분류표를 고정해도 대표 사례로 뽑히는 고객 의견은 실행마다 달라졌다. 연구진이 측정한 대표 의견의 흔들림은 분류표 고정 방식에서 0.461, 일반 생성 방식에서 0.448이었다. 따라서 AI가 근거로 제시한 후기는 반드시 원문을 열어 확인해야 한다.

이번 연구에는 한계도 있다. 한 기업의 고객 지원 자료만 분석했고, 분류표를 고정하는 시스템을 비교 대상으로 포함했다. 연구진의 소속 회사는 공개되지 않았으며, 분류표를 처음 만드는 데 드는 비용도 비교에 포함되지 않았다. 분류표를 새로 만들면 그 과정에서 주제가 달라질 가능성도 남아 있다.

우리 가게는 어떻게 활용해야 할까?

고객 불만을 분석하는 목적은 AI의 답을 얻는 데 있지 않다. 실제로 무엇을 개선해야 하는지 판단하는 데 있다. 따라서 AI가 뽑은 상위 세 가지를 곧바로 메뉴 변경이나 서비스 개편의 근거로 삼기보다, 같은 기준으로 분류한 결과가 반복해서 나타나는지부터 확인해야 한다.

할 일	근거 숫자
「맛·양·친절·대기·가격·주차」처럼 주제 목록을 먼저 정하고, AI에게 그 안에서만 고르게 한다	분류표 고정 0.104, 그냥 생성 0.765
같은 자료로 두 번 돌려 주제와 순위가 같은지 먼저 본다	가장 안정적인 AI도 0.616
건수는 AI가 말한 숫자 대신 후기마다 붙인 주제를 세서 낸다	그냥 생성 건수 불일치 0.244, 분류표 고정 0.000
한 번에 넣는 후기를 기간별로 나눠 같은 크기로 비교한다	100건 0.552 → 5,000건 0.726
프롬프트 문구만 다듬어서 해결하려 하지 않는다	일관성 강조 프롬프트도 0.803
AI가 고른 대표 후기는 원문을 열어 확인한다	대표 의견 바뀜 0.448~0.461
답이 정해진 형식으로 왔는지 확인한다	5,000건 15회 중 6회 형식 오류

먼저 후기마다 주제를 붙일 기준을 정한다. 다음으로 같은 후기를 두 번 분석해 주제와 순위가 일치하는지 확인한다. 건수는 AI가 요약한 숫자를 그대로 사용하지 말고, 각 후기에 붙인 주제를 직접 세어 확인하는 편이 안전하다.

AI가 제시한 대표 후기도 원문과 대조해야 한다. 실제 고객의 의견이 분류표와 맞지 않으면 기준을 수정하되, 기준을 바꾼 뒤에는 이전 결과와 새 결과를 구분해 살펴야 한다. AI 분석은 개선할 문제를 찾는 출발점으로 쓰고, 실제 변경 여부는 원문과 확인된 건수를 바탕으로 판단하는 것이 좋다.

요점 ① 같은 고객 의견을 분석한 AI 8종의 실험에서 가장 안정적인 모델도 주제 흔들림이 0.616이었다. ② 의견이 100건에서 5,000건으로 늘자 주제 흔들림은 0.552에서 0.726으로 커졌다. ③ 주제 분류표를 고정하자 흔들림은 0.765에서 0.104로 줄었고, 건수 불일치는 0이 됐다. ④ 결과가 안정적이라고 정확한 것은 아니다. 분류표를 고정해도 대표 의견 흔들림은 0.461이었으니, 건수와 대표 후기는 원문으로 확인해야 한다.

같이 읽을 글

자료 출처

작성일 2026년 10월 16일

#측정 #후기 분석 #AI 요약 #분류표 #고객 의견

← 칼럼 목록