# 챗GPT가 좋다고 한 홈페이지 글, 고객도 좋아할까?

_AI 채점은 홈페이지를 고치는 데 도움이 되지만, 고객 반응까지 대신 판단하지는 못한다_

> 화중과기대 연구진이 질문·답변 116만 7,129개를 비교했다. 챗GPT의 인기 1등 적중률은 14.0%였고, 설명을 덜어낸 AI 답은 실제 인기 답과의 차이를 평균 54.4% 줄였다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-picked-answers-vs-real-upvotes-1-17m
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-27

챗GPT에게 홈페이지 글을 채점받아 고치는 것은 도움이 될 수 있다. 하지만 AI가 좋은 글이라고 고른 글이 실제 고객에게도 좋은 글이라고 보기는 어렵다. 연구에서는 챗GPT가 실제 인기 답의 1등을 맞힌 비율이 14.0%로, 무작위로 고르는 기준인 25%보다 낮았다.

AI 채점표의 1등과 고객이 반응하는 1등은 같지 않을 수 있다.

## 챗GPT에게 홈페이지 글을 맡겨도 괜찮을까?

괜찮다. 다만 무엇을 맡길지 구분해야 한다.

화중과기대 연구진은 2020~2026년 즈후·쿼라·레딧에서 질문 2만 5,978개와 답변 116만 7,129개를 분석했다. 실제 사람들이 답변에 누른 추천 수와 AI가 인기 있을 것이라고 판단한 답이 얼마나 같은지 비교했다.

| 항목 | 규모 |
|---|---|
| 질문 | 2만 5,978개 |
| 답변 | 116만 7,129개 |
| 사이트 | 즈후·쿼라·레딧 |
| 기간 | 2020~2026년 |
| 분야 | 10개(세부 35개) |
| 답변당 평균 추천 | 374.9 |
| 답변당 평균 댓글 | 26.9 |
| 비교 실험용 표본 | 실제 답변 3,600개 |

연구진은 답변을 논리·감정·표현이라는 세 가지 방향에서 살폈다. 여기서 눈에 띄는 차이가 나왔다. AI는 인기 있는 답을 만들라고 하면 주장과 근거를 더하고, 이유와 단계를 차례로 설명하는 쪽으로 움직였다.

그런데 실제 추천을 많이 받은 답은 꼭 그렇게 움직이지 않았다. 논리보다 감정과 기억에 남는 표현이 추천 수와 더 강하게 같이 움직였다.

## AI가 잘 쓴 글이면 고객도 좋아하지 않을까?

꼭 그렇지는 않다.

연구진은 AI 답에서 인기의 규칙을 찾아 실제 답에 적용해 봤다. AI 답끼리 비교할 때는 상관이 0.947로 높았지만, 그 규칙을 실제 답에 적용하자 상관이 −0.073으로 내려갔다.

| 규칙을 배운 곳 → 적용한 곳 | 상관 | 1등 적중률 |
|---|---|---|
| AI 답 → AI 답 | 0.947 | 89.5% |
| 실제 답 → AI 답 | 0.759 | 80.0% |
| AI 답 → 실제 답 | −0.073 | 25.4% |

쉽게 말하면 AI가 다른 AI 글을 보고 판단하는 기준과, 실제 사람이 반응한 글을 설명하는 기준이 달랐다. AI가 좋아하는 글의 특징을 그대로 홈페이지에 옮긴다고 해서 고객의 반응까지 따라오는 것은 아니다.

## 그럼 AI에게 홈페이지 글의 순위를 매기면 안 될까?

순위를 정하는 용도로는 조심할 필요가 있다.

연구진은 같은 질문에 대한 실제 답 4개를 AI에게 보여 주고, 사람들이 가장 많이 추천한 답을 맞히게 했다. 챗GPT의 1등 적중률은 14.0%였다. 클로드도 16.4%였고, 네 AI 모두 무작위로 골랐을 때의 25%보다 낮았다.

| 인기 순서를 맞힌 방법 | 순서 상관 | 1등 적중률 |
|---|---|---|
| 무작위로 찍기 | 0.000 | 25.0% |
| 챗GPT 채점 | −0.127 | 14.0% |
| 딥시크 채점 | −0.080 | 14.1% |
| 라마 채점 | −0.004 | 8.2% |
| 클로드 채점 | 0.182 | 16.4% |
| 단순 문장 비교 계산 | 0.214 | 32.4% |
| 논리·감정·표현 세 갈래 점수 | 0.359 | 43.5% |

반면 논리·감정·표현을 함께 보는 세 갈래 점수는 1등 적중률이 43.5%였다. 글을 하나의 점수로만 줄 세우는 것보다 여러 특징을 함께 보는 방법이 실제 반응에 더 가까웠다는 뜻이다.

홈페이지에서도 이 차이를 생각할 필요가 있다. AI에게 제목이나 문단을 고르게 할 수는 있지만, 그 점수를 고객 반응과 같은 것으로 받아들이면 안 된다.

## 그런데 사람들은 AI가 쓴 글을 싫어하지 않나?

그렇다고 단정하기도 어렵다.

연구에서는 대학생·대학원생 30명이 AI 답과 실제 답을 나란히 놓고 비교했다. 어느 쪽이 사람 글 같은지 고르게 하자 AI가 그냥 쓴 답은 97.3%가 가려졌다. 그런데 어느 답을 추천하고 싶은지 고르게 했을 때는 55.7%가 AI 답을 골랐다.

| 비교(각 132~134쌍) | 사람 글 같다고 본 비율 | 추천하고 싶다고 고른 비율 |
|---|---|---|
| AI가 그냥 쓴 답 vs 실제 답 | 2.7% | 55.7% |
| 실제 답을 보고 따라 쓴 답 vs 실제 답 | 21.1% | 58.8% |
| 설명을 덜어낸 답 vs 실제 답 | 25.6% | 62.4% |

AI가 쓴 티가 난다고 해서 반드시 추천하기 싫은 글은 아니었던 셈이다. 다만 연구진은 방법끼리 신뢰구간이 겹쳐 결정적인 차이로 보지는 않았다.

따라서 홈페이지 글에서 중요한 것은 AI처럼 보이지 않게 만드는 것만이 아니다. 고객이 읽었을 때 필요한 정보가 빠지지 않았는지, 읽기 편한지, 실제로 반응할 만한 내용인지 함께 봐야 한다.

## 설명을 많이 넣을수록 좋은 글일까?

이 부분은 홈페이지를 고칠 때 특히 참고할 만하다.

연구진은 AI 답에서 지나치게 풀어 쓴 설명을 덜어냈다. 주장과 근거를 연결하는 말, 이유를 덧붙이는 문장, 단계를 나열하는 표현, 「따라서」 같은 이음말을 가리고 다시 쓰게 했다.

그 결과 설명을 덜어낸 답은 실제 인기 답과의 차이를 AI 4종 평균 54.4% 줄였다. 딥시크 기준으로는 74.9%까지 차이가 줄었다.

| 방법(딥시크 기준) | 차이 감소 | 길이(원래 AI 답=1) |
|---|---|---|
| 실제 답을 보고 따라 쓰기 | 49.2% | 0.91 |
| 길이만 맞추기 | 33.8% | 0.66 |
| 사이트 성격 알려 주기 | 7.6% | — |
| 설명을 덜어내고 다시 쓰기 | 74.9% | 0.71 |
| 설명 덜어내기(AI 4종 평균) | 54.4% | — |

중요한 것은 무조건 짧게 만드는 것이 아니었다. 길이만 맞춘 방법은 차이를 33.8% 줄이는 데 그쳤다. 사이트의 성격만 알려 준 방법은 7.6% 줄이는 데 그쳤다.

AI가 홈페이지 글을 고쳐 준 뒤 「첫째, 둘째, 따라서, 왜냐하면」 같은 연결 표현이 지나치게 많아졌다면 한 번 덜어내 볼 만하다. 사실과 핵심 정보는 남기고, 필요 이상으로 설명하는 문장만 줄이는 방식이다.

## 홈페이지에서는 AI와 고객을 따로 봐야 할까?

그렇게 보는 편이 안전하다.

홈페이지 글에는 AI 검색이라는 읽는 쪽과 사람이라는 읽는 쪽이 함께 있다. AI 검색에서는 구조를 바꾸거나 문장을 매끄럽게 다듬었을 때 인용률과 노출이 올라간 별도 실험 결과가 있다.

| 읽는 쪽 | 숫자 | 출처 |
|---|---|---|
| AI 검색: 구조만 바꿨을 때 인용률 | +17.3% | 6개 엔진 실험 |
| AI 검색: 매끄럽게 다듬었을 때 노출 | +29% | 질문 1만 개 실험 |
| AI 검색: 인용 출처 중 AI가 쓴 글 | 약 16% | 4개 엔진·질문 712개 |
| 사람: 챗GPT가 인기 1등을 맞힌 비율 | 14.0% | 이번 연구 |
| 사람: AI 답을 더 추천하고 싶다고 고른 비율 | 55.7% | 이번 연구 |

하지만 이번 연구가 직접 확인한 것은 질문·답변 사이트의 추천 반응이다. 홈페이지를 보고 들어온 문의나 전화, 예약이 늘어나는지는 이 연구만으로 알 수 없다.

또 연구 대상은 중국어·영어 사이트였다. 따라서 이 결과를 동네 가게 홈페이지에 그대로 적용하기보다는, AI 채점의 한계를 보여 주는 자료로 보는 것이 맞다.

## 그럼 홈페이지 글은 어떻게 고치면 될까?

챗GPT는 정보 점검에 쓰는 것이 좋다. 가격, 시간, 위치처럼 고객이 꼭 알아야 할 정보가 빠졌는지 확인하고, 문장이 이해하기 어려운 부분을 찾는 데 활용할 수 있다.

반대로 「이 글을 고객이 가장 좋아할까」라는 판단은 AI 점수 하나에 맡기지 않는 편이 낫다. 실제 고객의 문의 수나 전화 수 같은 반응을 보고 확인하는 것이 더 직접적이다.

특히 AI가 고쳐 준 글이 지나치게 설명형으로 변했다면 다시 읽어볼 필요가 있다. 정보는 그대로 두고 불필요한 이유 설명과 단계 나열, 이음말을 덜어내면 실제 인기 답과 가까워지는 방향을 참고할 수 있다.

결국 AI에게 홈페이지 글을 채점받지 말라는 뜻은 아니다. AI가 좋다고 한 글과 고객이 반응하는 글을 같은 것으로 생각하지 말자는 뜻이다.

① AI 답의 인기 규칙을 실제 답에 적용했을 때 상관은 −0.073이었다 ② 챗GPT의 실제 인기 1등 적중률은 14.0%로 무작위 기준 25.0%보다 낮았다 ③ 사람 평가에서 AI 답을 추천하고 싶다고 고른 비율은 55.7%였다 ④ 설명을 덜어낸 AI 답은 실제 인기 답과의 차이를 평균 54.4% 줄였다

## 같이 읽을 글

 

- 우리 홈페이지는 AI한테 몇 점일까?

- 홈페이지 글을 표로 바꾸면 AI가 더 잘 가져갈까?

- AI는 AI가 쓴 글을 좋아할까, 싫어할까

- 우리 홈페이지 글이 AI가 쓴 것처럼 보이면 손해일까?
 

## 자료 출처

 

- Too Good to Be Real? Diagnosing and Reducing the Gap Between AI Preference and Real User Engagement(Zhang 등 6인·화중과학기술대·arXiv 2026년 9월 제출·즈후·쿼라·레딧 답변 116만 7,129개·질문 2만 5,978개)

- 같은 논문 전체 본문(표 1~4·9~12, 평가자 30명 실험 부록 수록)

- Structural Feature Engineering for Generative Engine Optimization(Yu 등·2026년 3월·6개 엔진 인용률 +17.3%·품질 +18.5%)

- GEO: Generative Engine Optimization(Aggarwal 등·프린스턴대 등·KDD 2024·질문 1만 개 — 매끄럽게 다듬기 +29%)

- Synthetic Sources?: Auditing Generative Search Engine Citations(Allaham·Diakopoulos·2026년 5월·4개 엔진·질문 712개·인용 출처 약 16%가 AI 글)

- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(Zheng 등·2023·AI 채점의 순서·길이·자기 편들기 치우침)