챗GPT가 좋다고 한 홈페이지 글, 고객도 좋아할까?

챗GPT에게 홈페이지 글을 채점받아 고치는 것은 도움이 될 수 있다. 하지만 AI가 좋은 글이라고 고른 글이 실제 고객에게도 좋은 글이라고 보기는 어렵다. 연구에서는 챗GPT가 실제 인기 답의 1등을 맞힌 비율이 14.0%로, 무작위로 고르는 기준인 25%보다 낮았다.

챗GPT에게 홈페이지 글을 맡겨도 괜찮을까?

괜찮다. 다만 무엇을 맡길지 구분해야 한다.

화중과기대 연구진은 2020~2026년 즈후·쿼라·레딧에서 질문 2만 5,978개와 답변 116만 7,129개를 분석했다. 실제 사람들이 답변에 누른 추천 수와 AI가 인기 있을 것이라고 판단한 답이 얼마나 같은지 비교했다.

연구진은 답변을 논리·감정·표현이라는 세 가지 방향에서 살폈다. 여기서 눈에 띄는 차이가 나왔다. AI는 인기 있는 답을 만들라고 하면 주장과 근거를 더하고, 이유와 단계를 차례로 설명하는 쪽으로 움직였다.

그런데 실제 추천을 많이 받은 답은 꼭 그렇게 움직이지 않았다. 논리보다 감정과 기억에 남는 표현이 추천 수와 더 강하게 같이 움직였다.

AI가 잘 쓴 글이면 고객도 좋아하지 않을까?

꼭 그렇지는 않다.

연구진은 AI 답에서 인기의 규칙을 찾아 실제 답에 적용해 봤다. AI 답끼리 비교할 때는 상관이 0.947로 높았지만, 그 규칙을 실제 답에 적용하자 상관이 −0.073으로 내려갔다.

쉽게 말하면 AI가 다른 AI 글을 보고 판단하는 기준과, 실제 사람이 반응한 글을 설명하는 기준이 달랐다. AI가 좋아하는 글의 특징을 그대로 홈페이지에 옮긴다고 해서 고객의 반응까지 따라오는 것은 아니다.

그럼 AI에게 홈페이지 글의 순위를 매기면 안 될까?

순위를 정하는 용도로는 조심할 필요가 있다.

연구진은 같은 질문에 대한 실제 답 4개를 AI에게 보여 주고, 사람들이 가장 많이 추천한 답을 맞히게 했다. 챗GPT의 1등 적중률은 14.0%였다. 클로드도 16.4%였고, 네 AI 모두 무작위로 골랐을 때의 25%보다 낮았다.

반면 논리·감정·표현을 함께 보는 세 갈래 점수는 1등 적중률이 43.5%였다. 글을 하나의 점수로만 줄 세우는 것보다 여러 특징을 함께 보는 방법이 실제 반응에 더 가까웠다는 뜻이다.

홈페이지에서도 이 차이를 생각할 필요가 있다. AI에게 제목이나 문단을 고르게 할 수는 있지만, 그 점수를 고객 반응과 같은 것으로 받아들이면 안 된다.

그런데 사람들은 AI가 쓴 글을 싫어하지 않나?

그렇다고 단정하기도 어렵다.

연구에서는 대학생·대학원생 30명이 AI 답과 실제 답을 나란히 놓고 비교했다. 어느 쪽이 사람 글 같은지 고르게 하자 AI가 그냥 쓴 답은 97.3%가 가려졌다. 그런데 어느 답을 추천하고 싶은지 고르게 했을 때는 55.7%가 AI 답을 골랐다.

AI가 쓴 티가 난다고 해서 반드시 추천하기 싫은 글은 아니었던 셈이다. 다만 연구진은 방법끼리 신뢰구간이 겹쳐 결정적인 차이로 보지는 않았다.

따라서 홈페이지 글에서 중요한 것은 AI처럼 보이지 않게 만드는 것만이 아니다. 고객이 읽었을 때 필요한 정보가 빠지지 않았는지, 읽기 편한지, 실제로 반응할 만한 내용인지 함께 봐야 한다.

설명을 많이 넣을수록 좋은 글일까?

이 부분은 홈페이지를 고칠 때 특히 참고할 만하다.

연구진은 AI 답에서 지나치게 풀어 쓴 설명을 덜어냈다. 주장과 근거를 연결하는 말, 이유를 덧붙이는 문장, 단계를 나열하는 표현, 「따라서」 같은 이음말을 가리고 다시 쓰게 했다.

그 결과 설명을 덜어낸 답은 실제 인기 답과의 차이를 AI 4종 평균 54.4% 줄였다. 딥시크 기준으로는 74.9%까지 차이가 줄었다.

중요한 것은 무조건 짧게 만드는 것이 아니었다. 길이만 맞춘 방법은 차이를 33.8% 줄이는 데 그쳤다. 사이트의 성격만 알려 준 방법은 7.6% 줄이는 데 그쳤다.

AI가 홈페이지 글을 고쳐 준 뒤 「첫째, 둘째, 따라서, 왜냐하면」 같은 연결 표현이 지나치게 많아졌다면 한 번 덜어내 볼 만하다. 사실과 핵심 정보는 남기고, 필요 이상으로 설명하는 문장만 줄이는 방식이다.

홈페이지에서는 AI와 고객을 따로 봐야 할까?

그렇게 보는 편이 안전하다.

홈페이지 글에는 AI 검색이라는 읽는 쪽과 사람이라는 읽는 쪽이 함께 있다. AI 검색에서는 구조를 바꾸거나 문장을 매끄럽게 다듬었을 때 인용률과 노출이 올라간 별도 실험 결과가 있다.

하지만 이번 연구가 직접 확인한 것은 질문·답변 사이트의 추천 반응이다. 홈페이지를 보고 들어온 문의나 전화, 예약이 늘어나는지는 이 연구만으로 알 수 없다.

또 연구 대상은 중국어·영어 사이트였다. 따라서 이 결과를 동네 가게 홈페이지에 그대로 적용하기보다는, AI 채점의 한계를 보여 주는 자료로 보는 것이 맞다.

그럼 홈페이지 글은 어떻게 고치면 될까?

챗GPT는 정보 점검에 쓰는 것이 좋다. 가격, 시간, 위치처럼 고객이 꼭 알아야 할 정보가 빠졌는지 확인하고, 문장이 이해하기 어려운 부분을 찾는 데 활용할 수 있다.

반대로 「이 글을 고객이 가장 좋아할까」라는 판단은 AI 점수 하나에 맡기지 않는 편이 낫다. 실제 고객의 문의 수나 전화 수 같은 반응을 보고 확인하는 것이 더 직접적이다.

특히 AI가 고쳐 준 글이 지나치게 설명형으로 변했다면 다시 읽어볼 필요가 있다. 정보는 그대로 두고 불필요한 이유 설명과 단계 나열, 이음말을 덜어내면 실제 인기 답과 가까워지는 방향을 참고할 수 있다.

결국 AI에게 홈페이지 글을 채점받지 말라는 뜻은 아니다. AI가 좋다고 한 글과 고객이 반응하는 글을 같은 것으로 생각하지 말자는 뜻이다.

같이 읽을 글

• 우리 홈페이지는 AI한테 몇 점일까?
• 홈페이지 글을 표로 바꾸면 AI가 더 잘 가져갈까?
• AI는 AI가 쓴 글을 좋아할까, 싫어할까
• 우리 홈페이지 글이 AI가 쓴 것처럼 보이면 손해일까?

자료 출처

• Too Good to Be Real? Diagnosing and Reducing the Gap Between AI Preference and Real User Engagement(Zhang 등 6인·화중과학기술대·arXiv 2026년 9월 제출·즈후·쿼라·레딧 답변 116만 7,129개·질문 2만 5,978개)
• 같은 논문 전체 본문(표 1~4·9~12, 평가자 30명 실험 부록 수록)
• Structural Feature Engineering for Generative Engine Optimization(Yu 등·2026년 3월·6개 엔진 인용률 +17.3%·품질 +18.5%)
• GEO: Generative Engine Optimization(Aggarwal 등·프린스턴대 등·KDD 2024·질문 1만 개 — 매끄럽게 다듬기 +29%)
• Synthetic Sources?: Auditing Generative Search Engine Citations(Allaham·Diakopoulos·2026년 5월·4개 엔진·질문 712개·인용 출처 약 16%가 AI 글)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(Zheng 등·2023·AI 채점의 순서·길이·자기 편들기 치우침)