AI 홈페이지 점수는 어떤 AI가 매겼는지도 봐야 할까?

AI로 홈페이지를 채점하면 점수부터 보게 된다. 하지만 같은 글도 어떤 AI가 채점하느냐에 따라 결과가 달라질 수 있다. 한 실험에서 AI 7개의 순위 상관은 평균 0.52였고, 점수 차이 가운데 글 자체의 차이로 설명된 몫은 34.4%였다.

같은 홈페이지인데 AI마다 점수가 정말 다를까?

그렇다. 프랑스 EDHEC 경영대학원과 네덜란드 흐로닝언대 연구진은 2026년 9월, 미국 S&P 500 기업 501곳의 2024년 실적 발표 질의응답 1,946건을 대상으로 이 실험을 공개했다.

7개 AI에 똑같은 지시문을 주고 같은 기준으로 채점하게 했다. 무작위성을 끄고 검색이나 외부 도구도 사용하지 않았다. 그런데 모델 사이의 순위 상관은 평균 0.52였다. 1에 가까울수록 두 AI의 순위가 비슷하다는 뜻이다.

어떤 항목에서 AI가 특히 다르게 평가할까?

항목에 따라 차이가 컸다. 감정처럼 긍정적인지 부정적인지를 보는 항목의 순위 상관은 0.85로 비교적 높았지만, 정직성은 0.32였다.

가장 낮은 항목은 구체성 비율로 0.23이었다. 이 항목은 사람 이름, 회사 이름, 퍼센트, 장소, 날짜, 금액, 기간 같은 구체적 표현을 규칙대로 세는 방식이었다. 규칙을 정해 주면 AI가 같은 답을 낼 것 같지만 실제 결과는 그렇지 않았다.

점수 차이가 글 때문인지 AI 때문인지 알 수 있을까?

연구진은 점수 차이의 원인을 세 가지로 나눴다. 모든 AI가 공통으로 인정한 글 자체의 차이, AI마다 가진 채점 습관, 특정 AI가 특정 글에 다르게 반응한 부분이다.

13개 항목의 평균을 보면 글 자체의 차이로 설명된 몫은 34.4%였다. 나머지는 AI마다의 채점 습관과 AI×글의 개별 반응에서 나왔다. 홈페이지 A가 70점이고 B가 60점이라고 해도, 그 10점 차이가 글의 차이 때문인지 채점한 AI 때문인지는 점수만 보고 알 수 없다.

AI가 「확신도 높음」이라고 하면 믿어도 될까?

그렇게 보기는 어렵다. 실험에서는 AI가 점수와 함께 자신의 확신도도 표시했지만, 두 모델이 모두 높은 확신도를 보인 글이라고 해서 서로의 점수가 더 잘 맞지는 않았다.

다른 연구에서도 비슷한 결과가 나왔다. 29개 과제를 반복해서 AI로 채점했을 때 두 답 가운데 어느 쪽이 나은지에 대한 판단이 13.6%의 경우 뒤집혔다. AI끼리 일치한 비율은 76%였고, 뜻이 같은 지시문으로 바꿔 쓰기만 해도 25%의 경우 결과가 달라졌다.

같은 점수를 반복해서 내는 AI도 정확하다고 볼 수 없다. 소형 모델 2개는 같은 답을 반복 채점했을 때 각각 97.3%와 92.3%가 같은 결과를 냈지만, 사람이 매긴 점수와의 상관은 0.275와 0.340에 그쳤다.

AI 여러 개의 점수를 평균 내면 괜찮을까?

평균을 내면 순위를 비교할 때는 어느 정도 안정된다. 연구진이 0.80을 합격선으로 잡았을 때, 7개 모델의 평균을 사용하면 13개 항목 가운데 10개에서 순위가 안정적인 수준을 넘었다.

하지만 점수 자체는 달랐다. 13개 항목 가운데 안정된 점수 값을 보인 것은 5개뿐이었다. 어떤 AI를 평균에 넣느냐에 따라 점수 수준이 다시 움직일 수 있다는 뜻이다.

모델만 바꿔도 결과의 크기가 달라졌다. 감정과 불확실성에서는 관계의 방향은 유지됐지만 크기가 최대 60%까지 차이 났고, 다른 항목에서는 관계의 방향이 반대로 바뀌거나 의미 있던 결과가 사라지기도 했다.

홈페이지 점수를 받으면 무엇부터 확인해야 할까?

국내외 GEO 진단 서비스는 홈페이지 주소를 넣으면 점수를 보여 준다. 하지만 서비스마다 점검 항목이 7개, 11개, 21개, 47개, 80개로 제각각이다. 항목 구성이 다른 서비스의 점수를 서로 비교하는 것은 의미가 약하다.

먼저 어떤 AI로 채점했는지와 몇 번 채점했는지를 확인하는 것이 좋다. 이 정보를 알 수 없다면 총점은 참고용으로만 보는 편이 낫다.

그다음에는 점수 자체보다 같은 서비스에서 고치기 전과 후를 비교한다. 조건이 달라지면 점수 변화가 홈페이지를 고쳐서 생긴 것인지, 채점 방식이 달라져서 생긴 것인지 알기 어렵다.

숫자, 가격, 주소, 영업시간처럼 직접 셀 수 있는 항목도 AI에게 맡길 필요가 없다. 규칙대로 세는 항목조차 모델 사이 순위 상관이 0.23이었기 때문이다.

마지막으로 「확신도 높음」이라는 표시를 점수의 정확성을 보장하는 근거로 쓰지 않는다.

결국 가장 중요한 것은 점수가 아닐까?

점수는 결과를 대신하지 못한다. 실제 고객이 AI에게 가게를 물었을 때 가게가 답변에 나오는지를 따로 확인해야 한다.

AI사이트코리아가 2026년 9월 15일 챗GPT를 포함한 4개 엔진에서 자사를 측정했을 때, 답에 자사가 나온 엔진은 0곳이었다. 점수표가 몇 점인지와 실제 AI 답에 등장하는지는 별개의 문제다.

이 실험을 우리 가게에 그대로 적용해도 될까?

그대로 적용할 수는 없다. 실험 대상은 영어로 된 미국 대기업의 실적 발표 질의응답이었고, 모델도 2025년 11월 기준 저가 모델이었다. 검색을 끄고 API로 직접 채점했기 때문에 일반 고객이 사용하는 챗GPT 화면과도 조건이 다르다.

그래도 한 가지는 참고할 수 있다. 같은 글과 같은 지시문을 사용해도 채점하는 AI가 달라지면 점수와 순위가 달라질 수 있다는 점이다.

따라서 홈페이지 점수는 절대적인 성적표로 보기보다 같은 조건에서 변화를 확인하는 도구로 보는 것이 맞다. 그리고 마지막에는 점수가 아니라 실제 AI 답에 가게가 나오는지를 따로 확인해야 한다.

같이 읽을 글

• 우리 가게 홈페이지도 AI에게 점수를 받을까?
• AI가 우리 가게를 인용했다는데, 진짜일까?
• AI가 만든 고객 질문으로 노출을 재도 괜찮을까?
• 우리 가게가 챗GPT에 얼마나 나오는지 한 번에 알 수 있을까?

자료 출처

• Same Text, Different Numbers: The Divergence of LLM-Based Measures(EDHEC 경영대학원·흐로닝언대, arXiv 2609.31013, 2026.9, S&P 500 실적 발표 1,946건×AI 7개×측정 13개)
• The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation(arXiv 2606.13685, 2026.4, 29개 과제)
• When Consistency Does Not Mean Reliability: Evaluating Local LLM Judges Against Human Ratings(arXiv 2609.13824, 2026.9, 답변 300개·모델 2개)
• Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks(일리노이대, arXiv 2510.27106, 2025.10, EMNLP 2025)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them(arXiv 2509.21117)