모두가 AI 순위에 맞춰 글을 고치면, 순위 높은 글이 좋은 글일까?

AI가 높은 점수를 준 글을 따라 고치는 일이 많아질수록, AI 순위가 좋은 글을 가려내는 힘은 약해질 수 있다. 버클리대 연구진이 글을 20번씩 고쳐 쓰게 한 실험에서 6개 분야 모두 순위와 품질의 연결이 떨어졌다. 반면 글 전체가 서로 비슷해지는 변화는 생각보다 크지 않았다.

AI가 높은 순위를 받은 글을 따라 하면 어떻게 될까?

이번 실험은 단순히 글을 한 번 고쳐 보는 실험이 아니다. AI가 글의 순위를 매기고, 순위가 낮은 글을 1등 글의 특징에 맞춰 고친 뒤 다시 순위를 매기는 과정을 20번 반복했다.

한 번 고칠 때마다 순위 밖 글의 약 29%를 골랐다. AI는 상위 10% 글과 나머지 글을 가르는 25개 특징을 찾고, 그중 영향이 큰 5개를 골라 글을 고쳤다. 모든 글을 한꺼번에 똑같이 고치지 않고 일부 글만 따라 하게 한 점이 특징이다.

순위를 매기는 AI와 글을 고치는 AI, 품질을 채점하는 AI도 서로 다른 모델로 나눴다. 같은 회사의 AI가 자기 회사 모델의 글을 더 좋게 평가하는 영향을 줄이기 위한 장치다.

실험에 앞서 AI 순위가 실제 답변 노출과 관계가 있는지도 확인했다. 출처를 붙여 답하게 했을 때 인용된 글이 인용되지 않은 글보다 높은 순위를 받을 확률은 0.853이었다. 첫 바퀴는 0.849, 마지막 바퀴는 0.863으로 큰 변화가 없었다.

20번 고치면 좋은 글과 높은 순위가 멀어질까?

결과는 꽤 분명하다. 6개 분야에서 모두 순위와 품질의 연결이 약해졌다.

상품 추천은 0.110에서 0.063으로, 비디오게임 추천은 0.129에서 0.062로 떨어졌다. 웹 질의응답은 0.202에서 0.095로 가장 크게 떨어졌고, 책 추천은 0.022에서 0.004로 가장 작게 떨어졌다.

여기서 중요한 점이 하나 있다. 글의 품질 점수 자체가 모두 떨어진 것은 아니다. 상품 추천의 품질 점수는 3.514에서 3.621로 오히려 올랐다.

문제는 품질이 아니라 연결이다. 처음에는 AI 순위가 높은 글일수록 품질도 높은 경향이 있었지만, 20번 따라 고친 뒤에는 그 관계가 약해졌다.

즉, AI가 높은 순위를 받은 글의 특징을 따라 하는 것과 실제로 좋은 글을 만드는 것은 같은 일이 아니었다.

그럼 모든 글이 비슷해진 건가?

이 부분은 예상과 조금 다르다. 글끼리 닮은 정도는 20번을 고친 뒤에도 거의 그대로였다.

상품 추천은 0.731에서 0.720으로 오히려 조금 낮아졌다. 다른 분야도 큰 폭으로 변하지 않았다.

대신 다른 변화가 나타났다. 1등 글과 나머지 글을 25개 특징만 보고 가려내는 정확도가 6개 분야에서 모두 높아졌다.

상품 추천은 0.805에서 0.877로, 웹 질의응답은 0.864에서 0.924로 올랐다. 글 전체가 서로 똑같아진 것이 아니라, 1등 글을 특징 몇 가지로 구별하기가 더 쉬워진 것이다.

1등 글을 따라 한 것이 정말 원인이었을까?

연구진은 이 부분도 따로 확인했다. 글을 고치지 않고 순위만 계속 매기는 경우에는 글끼리 닮은 정도가 거의 변하지 않았다.

또 같은 방식으로 글을 고치되, 1등 글의 특징이 아니라 무작위로 정한 특징을 목표로 삼은 대조 실험도 했다. 이 경우 순위와 품질의 연결은 크게 떨어지지 않았다.

그래서 연구진은 단순히 글을 여러 번 고쳤기 때문이라고 보지 않았다. 1등 글의 특징을 골라 따라 고친 과정이 순위와 품질의 연결이 약해진 현상과 이어져 있었다.

그런데 1등의 특징도 계속 바뀌었다

더 흥미로운 점은 AI가 1등 글을 가르는 기준 자체가 계속 달라졌다는 것이다. 순위를 매기는 AI는 20바퀴 동안 같았지만, 상위 글을 구별하는 특징은 바퀴마다 바뀌었다.

상품 추천에서는 처음에 글 길이와 남과 다른 내용, 어휘 다양성이 중요했다. 10바퀴 뒤에는 문단 수와 글 길이, 목록 빈도가 앞에 나왔고, 20바퀴 뒤에는 굵은 글씨 강조와 읽기 쉬움, 글 길이가 앞에 나왔다.

모두가 같은 특징을 따라 고치면 그 특징은 더 이상 1등 글을 구별하는 데 쓰기 어려워진다. 그러면 다른 특징이 그 자리를 차지한다.

따라서 지금 높은 순위를 받은 글의 겉모양만 계속 따라 하는 방식은 고정된 정답을 찾는 방법이 아니다. 실험에서는 따라 할 기준 자체가 바뀌었다.

AI가 고친 글에 잘못된 내용도 생겼나?

이 부분도 사장님이 직접 챙겨야 할 내용이다. 연구진은 고쳐 쓴 글 3,472편을 다른 회사 AI로 원문과 대조했다.

93.0%는 모든 점검을 통과했다. 하지만 3.4%에서는 원문에 없던 내용이 들어갔다. 원문의 출처 표시가 사라진 경우는 2.3%, 원문의 인용문이 사라진 경우는 2.1%였다.

이 수치만으로 AI가 고쳐 쓴 글 전체의 품질이 나쁘다고 볼 수는 없다. 사람 채점과 AI 채점의 상관도 0.58로 중간 이상의 일치가 있었다.

다만 AI가 글을 고쳤다는 이유만으로 원문보다 안전하거나 정확하다고 생각해서는 안 된다. 특히 고객이 실제로 확인할 정보가 들어간 글이라면 원문과 한 번 대조하는 과정이 필요하다.

동네 가게 글은 어떻게 고치는 게 좋을까?

따라 하는 곳은 앞으로 더 늘어날 것으로 보인다. 조사사들을 종합한 추정으로 세계 GEO 시장은 2026년 10.9억~14.8억 달러, 2034년 171억 달러로 커진다. 흔히 알려진 요령의 효과(인용문 넣기 +43%, 통계 넣기 +33%)는 한 글만 고쳤을 때 잰 값이고, 모두가 같은 요령을 쓰는 상황은 재지 않았다.

이번 실험에서 바로 가져올 수 있는 교훈은 단순하다(예상). AI가 높은 순위를 받은 글의 겉모양을 그대로 베끼는 데만 집중하지 않는 편이 낫다.

실제 가게 글에서는 AI 답에 몇 번 나왔는지만 보지 말고, 고객이 글을 읽고 실제로 연락했는지 같은 품질을 보여 주는 숫자도 함께 기록할 필요가 있다. AI가 추천하는 형식이 바뀌더라도 고객에게 필요한 내용까지 바꿀 이유는 없기 때문이다.

이번 실험만으로 실제 검색이나 AI 서비스에서 언제나 같은 현상이 나타난다고 단정할 수도 없다. 연구진은 순위를 매기는 AI를 고정했고, 실제 서비스에서 일어나는 검색과 개인화, 모델 교체를 넣지 않았으며, 20바퀴 안에서의 결과만 확인했다.

그래서 핵심은 AI 순위를 무시하자는 것이 아니다. 높은 순위를 얻기 위해 글을 고칠 때도, 그 순위 자체를 글의 품질과 같은 것으로 보지 않는 것이 중요하다는 뜻이다.

같이 읽을 글

• AI끼리 서로 글을 고치면 진짜 정보는 어떻게 될까?
• GEO 연구 45건을 모아보니, 뭐가 진짜 효과가 있을까?
• AI가 배운 것을 다음 질문에도 써먹으면 작은 가게는 어떻게 해야 하나?

자료 출처

• CHASE: How Content Ecosystems Are Reshaped When Ranking Is the Only Target(Gao·Su 등 5인·UC 버클리·저장대·COLM 2026·arXiv 2026년 8월 제출·6개 분야·20바퀴·시드 5개)
• 같은 논문 전체 본문(표 1·4·6·7·9, 대조 실험·고쳐 쓴 글 점검 수록)
• CHASE 실험 코드 저장소(연구진 공개)
• C-SEO Bench: Does Conversational SEO Work?(Puerto 등·2025년 6월·실험 원본 글 묶음, 도입자가 늘면 전체 이득 감소)
• GEO: Generative Engine Optimization(Aggarwal 등·프린스턴대 등·KDD 2024·질문 1만 개 — 인용문 +43%·통계 +33%·키워드 −9%)
• How Big of a Market is Generative Engine Optimization (GEO)?(Superlines·조사사 종합·2026년 10.9억~14.8억 달러·2034년 171억 달러)