AI가 매긴 고객 후기 점수, 지난달과 이번 달을 그대로 비교해도 될까?

고객 후기의 만족도를 AI 점수로 바꿔 달마다 비교하려면 채점 기준부터 같아야 한다. 지난달에는 1~5점, 이번 달에는 0~10점으로 물었다면 두 점수를 단순히 환산해 비교하는 것만으로는 충분하지 않다. 연구에서는 척도의 한 요소만 바꿔도 낮음·중간·높음 판정이 글의 18.2~20.3%에서 달라졌다.

점수 범위만 바꾸면 되는 것 아닌가?

1~5점과 0~10점은 숫자의 범위가 다르다. 따라서 두 점수를 같은 범위로 환산하면 비교할 수 있을 것처럼 보인다. 하지만 AI가 처음부터 두 척도에서 같은 기준으로 점수를 매겼다고 보장할 수는 없다.

미국 UC 데이비스·UC 샌타바버라와 아랍에미리트 MBZUAI(모하메드 빈 자이드 인공지능대) 연구진은 AI 5종에 글을 채점하게 하고 척도 16가지를 비교했다. 소수를 허용하는지, 점수 범위가 얼마인지, 음수를 사용하는지 가운데 하나만 바꿔도 점수가 달라졌다.

연구진은 모든 점수를 0~1 범위로 환산해 비교했다. 그 결과 점수 평균은 척도 요소에 따라 0.085~0.098 움직였다. 점수의 범위를 맞추는 작업과 AI가 같은 기준으로 평가하도록 만드는 작업은 다르다는 뜻이다.

실제로 어떤 글을 평가했나?

연구 과제는 세 가지였다. 영화평 5,000건의 감정, 온라인 댓글 5,000건의 악성 정도, 미국 뉴스 문장 1,700건의 정치 성향을 평가했다. 전체 글은 1만 1,700건(계산)이며, AI 5종이 16가지 척도를 사용해 채점했다.

연구진은 같은 AI가 같은 글에 매긴 점수끼리 비교했다. 점수를 0~1로 환산한 뒤 1/3 아래는 낮음, 2/3 위는 높음, 그 사이는 중간으로 나눴다. 이렇게 비교했더니 척도 요소 하나만 바꿔도 판정이 적지 않게 달라졌다.

형식을 바꿨을 때는 판정이 19.2%, 점수 범위를 바꿨을 때는 18.2%, 부호를 바꿨을 때는 20.3% 달라졌다. 특히 부호는 점수 평균 이동이 다른 요소보다 작았지만 판정 변경 비율은 가장 높았다. 경계선 근처에 있던 글은 작은 점수 변화만으로도 다른 구간에 들어갈 수 있기 때문이다.

어떤 후기에서 점수가 더 흔들릴까?

세 과제 가운데 가장 크게 흔들린 것은 댓글의 악성 정도였다. 척도 요소에 따라 판정이 바뀐 글은 29~40%였다. 감정 과제는 8~10%, 정치 성향 과제는 13~15%였다.

연구진은 악성 정도가 「없음~매우 심함」처럼 한쪽 방향으로 이어지는 항목이라는 점에 주목했다. 0을 가운데 두고 음수를 쓰는 연속 척도에서는 댓글의 47~52%가 매우 악성인 구간에 들어갔다. 반면 0 이상만 사용하는 연속 척도에서는 12~22%였다.

이 결과는 척도의 숫자만 바꾸는 일도 AI의 해석에 영향을 줄 수 있음을 보여준다. 고객 만족도뿐 아니라 불만의 강도나 서비스 문제의 심각성을 평가할 때도 척도를 어떻게 설계하는지 살펴야 한다.

채점 기준표를 주면 더 정확해질까?

AI에게 채점 기준표를 주면 평가가 안정될 것이라고 생각하기 쉽다. 하지만 이 연구에서는 기준표를 준 경우와 바로 점수를 물은 경우의 차이가 모든 척도 요소에서 0.007 이내였다. 기준표를 제공하는 것만으로 척도 변화에 따른 흔들림을 해결하지는 못했다.

AI가 더 오래 추론하도록 해도 개선 폭은 제한적이었다. 열린 모델 3종의 추론 단계를 가장 낮은 수준에서 가장 높은 수준으로 올렸을 때 판정 변경 비율은 형식에서 1.1%포인트, 부호에서 2.6%포인트 줄었다. 범위에서는 변화가 없었으며, 모델에 따라서는 오히려 판정 변경이 늘기도 했다.

따라서 채점 기준표를 만드는 것과 함께 척도 자체를 고정해야 한다. 기준표가 있다는 이유만으로 지난달과 이번 달의 점수가 같은 기준에서 나왔다고 판단해서는 안 된다.

우리 가게 후기는 어떻게 점수로 관리할까?

실무에서는 먼저 점수 척도를 하나 정하는 것이 좋다. 예를 들어 1~5점 정수 척도를 사용하기로 했다면 매달 같은 척도를 유지하고, 점수를 매기는 프롬프트와 AI도 가능한 한 동일하게 사용해야 한다. 조건이 바뀌었다면 점수의 증감이 고객 만족도의 실제 변화인지부터 확인해야 한다.

업체가 제공하는 AI 노출 점수나 홈페이지 AI 진단 점수도 같은 원칙으로 살펴볼 필요가 있다. 척도와 기준선이 다르면 서로 다른 점수를 직접 비교하기 어렵다. 같은 업체의 점수라도 척도나 프롬프트가 바뀌었다면 그달의 점수 변화를 실제 성과 변화로 단정해서는 안 된다.

홈페이지에 고객 후기 점수를 구조화 데이터로 넣을 때도 점수의 기준을 명확히 밝혀야 한다. 구글은 숫자 평점의 기본 척도를 1~5점으로 보며, 다른 척도를 사용한다면 최고점인 bestRating과 최저점인 worstRating을 지정하도록 안내한다. 점수의 의미를 명시해야 데이터를 읽는 시스템이 기준을 파악할 수 있다.

AI 점수만으로 평가 결과를 확정하지 않는 것도 중요하다. 일부 후기를 사장님이 직접 평가한 점수와 비교해 AI가 일관된 기준을 적용하는지 확인할 필요가 있다. 연구에서 감정 과제는 사람 점수와의 순위 상관이 0.87~0.95였지만, 악성 정도 과제는 0.24~0.38에 그쳤다. 과제에 따라 사람 평가와의 일치 수준이 크게 달랐다는 뜻이다.

이 연구 결과를 어디까지 믿어야 할까?

이번 연구는 영어로 된 영화평과 댓글, 뉴스 문장 세 가지 과제를 대상으로 했다. 한국어 고객 후기나 네이버 리뷰를 직접 평가한 연구는 아니다. 따라서 연구에서 나타난 변화율이 우리 가게 후기에도 똑같이 나타난다고 단정할 수는 없다.

정치 성향 과제에서도 AI가 문장의 44~67%를 중간 구간에 넣었지만, 사람의 비교 기준은 문장이 아니라 해당 문장을 실은 언론사의 성향이었다. 두 기준이 다르므로 단순 비교에는 한계가 있다. 연구 결과를 실제 매장에 적용할 때는 이러한 차이를 고려해야 한다.

다만 척도가 달라지면 AI의 점수와 판정도 달라질 수 있다는 점은 분명히 살펴볼 만하다. 고객 만족도를 달마다 비교하려는 목적이라면, 점수 환산보다 먼저 평가 조건이 유지되고 있는지 확인하는 편이 안전하다.

같이 읽을 글

• 우리 홈페이지는 AI한테 몇 점일까?
• AI 노출 점수 40%, 믿어도 될까?
• 후기는 어디에 있어야 AI가 읽을까?
• AI에게 숙소를 물으면 무엇을 보고 고를까?

자료 출처

• Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring(UC 데이비스·UC 샌타바버라·MBZUAI·arXiv 2610.22187·2026년 10월 15일 제출, AI 5종·척도 16가지·글 5,000·5,000·1,700건)
• 같은 논문 HTML 본문(4장 결과, 부록 D·E·F 표 6·7)
• Review snippet structured data(구글 검색 센터·2026년 9월 갱신, 기본 1~5점 척도·bestRating·worstRating)
• VADER Sentiment Analysis(허토·길버트, 깃허브 공개 도구 문서, 종합 점수 -1~+1·긍정 0.05 이상 기준)
• 네이버, 5년 만에 별점 제도 부활…4월 6일부터 플레이스 리뷰 개편(포인트데일리·2026년 3월 18일, 5점 척도 별점 재도입)
• 소상공업계, 네이버 별점 제도 부활에 악의적 테러 재현될 것(아시아경제·2026년 7월 14일, 소상공인연합회 논평·3점 미만 무분별 부여 금지)