AI끼리 서로 글을 고치면 진짜 정보는 어떻게 될까?
AI가 서로의 글을 읽고 인용 경쟁을 벌이는 실험에서 조작 성공률은 방어 후에도 6.20% 남았다. 추천 AI에서는 결함 상품의 추천 확률이 최대 83.2%포인트까지 늘었다.
AI가 서로의 글을 읽고 인용을 얻기 위해 계속 고쳐 쓰는 경쟁이 시작됐다. 방어 장치를 붙여도 조작 성공률은 50.32%에서 6.20%까지 내려갔을 뿐 0%가 되지는 않았다. 추천 AI에서는 결함이 있는 상품이 추천 목록에 들어갈 확률이 최대 83.2%포인트까지 늘었다.
AI의 답변에 잘 노출되는 글을 만드는 경쟁이 심해질수록, 겉모습보다 실제로 확인할 수 있는 정보가 중요해진다.
AI가 다른 글을 보고 계속 고치면 어떻게 될까
지금까지 AI 검색 노출을 위한 글쓰기는 한 사업자가 자기 문서를 다듬는 방식으로 생각하기 쉬웠다. 그런데 최근 실험에서는 AI가 경쟁 문서를 직접 분석하고, 더 잘 인용되는 방향으로 자기 글을 계속 고쳐 쓰도록 했다.
이 방식은 기존의 14가지 방법을 데이터셋 3개에서 모두 앞섰다. 한 번 잘 쓴 글을 만드는 문제가 아니라, 다른 글을 보고 다시 고치는 경쟁이 시작된 것이다.
문제는 인용을 더 많이 받는 것과 정보가 더 정확한 것은 같은 일이 아니라는 점이다. 누가 더 잘 고쳐 쓰느냐가 중요해지면, AI가 무엇을 근거로 답을 만드는지도 함께 살펴봐야 한다.
AI는 어떤 글을 먼저 인용할까
두 문서를 놓고 반복해서 비교하는 실험은 25만 2,000번 진행됐다. 문서에서 바꿀 수 있는 요소 18가지를 나눠 어떤 요소가 첫 인용에 영향을 주는지 살폈다.
결과에서 가장 눈에 띄는 것은 주제와의 관련성, 문서 안에서의 위치였다. 가격을 명확하게 적거나 최근 날짜를 표시하는 것도 꾸준히 도움이 됐다.
| 요소 | 첫 인용에 미치는 효과 |
|---|---|
| 주제 관련성· | 가장 크게 좌우함 |
| 가격 정보를 명확히 씀 | 꾸준히 도움 됨 |
| 최근 날짜(작성· | 꾸준히 도움 됨 |
| 완성도· | 작은 폭으로 도움 |
| 겉모습(서식)만 바꾸기 | 거의 효과 없음 |
반대로 서식만 바꾸는 것은 거의 효과가 없었다. 글을 화려하게 꾸미는 것보다 고객이 확인할 수 있는 가격이나 최근 정보가 제대로 들어 있는지가 더 중요하다는 뜻이다.
그래도 AI 조작은 완전히 막을 수 있을까
인용 경쟁이 심해지면 어떻게든 답변에 들어가게 만드는 조작도 문제가 된다. 이를 확인하기 위해 폐쇄형 AI 2개와 오픈소스 AI 3개를 대상으로 7가지 조작 기법을 시험했다.
방어 장치를 붙이자 조작 성공률은 크게 낮아졌다. 하지만 완전히 사라지지는 않았다.
| 항목 | 방어 전 | 방어 후 |
|---|---|---|
| 조작(공격) 성공률 | 50.32% | 6.20% |
| 정상 출처를 계속 인용하는 비율 | — | 94.12% |
방어 후 조작 성공률은 6.20%였다. 정상적인 출처를 계속 인용하는 비율은 94.12%까지 유지됐지만, 여전히 방어를 통과하는 조작이 남아 있었다.
이 결과가 보여주는 것은 단순하다. AI가 근거를 확인하도록 만드는 장치는 필요하지만, 그것만으로 모든 조작을 없앨 수 있다고 보기는 어렵다.
추천 AI가 상품을 잘못 고를 수도 있을까
같은 문제는 상품을 추천하는 AI에서도 나타났다. 22가지 조작 기법을 600건의 추천 사례에 적용해 보니 결함이 있는 상품이 추천 목록에 들어갈 확률이 최대 83.2%포인트까지 늘었다.
| 항목 | 수치 |
|---|---|
| 시험한 조작 기법 | 22종 |
| 실험 사례 수 | 600건 |
| 결함 상품이 추천 목록에 들어갈 확률 증가 | 최대 83.2%포인트 |
| 방어 프롬프트· | 최대 39.2%포인트 |
프롬프트로 주의를 주거나 근거를 다시 검증하게 하는 방어 방법도 적용했다. 그래도 추천 목록에 들어갈 확률의 증가 폭은 최대 39.2%포인트만 줄었다.
즉, AI가 상품을 추천한다고 해서 그 상품의 정보가 자동으로 정확해지는 것은 아니다. 추천 과정에서도 근거가 실제로 맞는지 확인하는 과정이 필요하다.
AI가 여러 개 붙으면 정보가 더 정확해질까
한 AI가 하나의 오염된 정보를 만나는 경우와 여러 AI가 서로 경쟁하는 경우는 다를 수 있다. 이를 확인하기 위해 에이전트 10개와 정상 웹페이지 72,039개, 오염된 페이지 770개를 대상으로 세 단계의 실험을 진행했다.
실험은 직접 주장하는 방식, 맥락을 위장하는 방식, 상호검증을 하는 것처럼 보이게 만드는 방식으로 나뉘었다. 대상은 상품 8개 카테고리와 154개 브랜드였다.
| 항목 | 수치 |
|---|---|
| 평가한 에이전트 | 10개 |
| 정상 웹페이지 | 72,039개 |
| 오염된 페이지 | 770개 × 3단계 |
| 대상 범위 | 상품 8개 카테고리· |
결과에서는 오염된 정보가 상호검증을 흉내 낼수록 근거가 맞는지 알아채는 능력이 떨어졌다. AI가 스스로 검색을 더 하더라도 최종 답변의 저항력은 높아질 수 있지만, 근거 자체를 알아채는 능력이 좋아진 것은 아니었다.
방어 지시문을 넣으면 검증을 시도하는 횟수는 늘었지만 실제로 오류를 되돌리는 경우는 드물었다. AI가 여러 개 붙는다고 정보의 정확성이 자동으로 높아지는 것은 아니라는 뜻이다.
분야에 따라 1차 출처 사용도 다르다
정치 관련 질문에서 공식 정당 웹사이트를 인용하는 비율을 비교한 실험도 있다. 미국 정치 질문에서는 공식 1차 출처 인용 비율이 25~45%였고, 일본 정치 질문에서는 60~65%였다.
| 답변 주제 | 공식 1차 출처 인용 비율 |
|---|---|
| 미국 정치 질문 | 25~45% |
| 일본 정치 질문 | 60~65% |
분야와 국가에 따라 공식 1차 출처를 사용하는 비율이 달랐다. 따라서 같은 조작 방법이라도 어떤 주제에서 사용되는지에 따라 영향을 받는 정도가 달라질 수 있다.
결국 동네 가게 글에는 무엇이 중요할까
이런 실험들을 보면 AI에 맞춰 글을 꾸미는 것보다 확인할 수 있는 사실을 정확하게 적는 일이 중요하다. 특히 가격과 최근 날짜처럼 AI가 확인할 수 있는 정보는 꾸준히 인용에 도움이 됐다.
반면 서식만 바꾸는 것은 거의 효과가 없었다. 고객에게 필요한 정보를 정확하게 제공하는 기본적인 홈페이지 관리가 AI가 읽는 환경에서도 중요하다는 뜻이다.
AI가 서로의 글을 보고 계속 고쳐 쓰는 경쟁이 커질수록 인용을 얻는 방법도 계속 바뀔 수 있다. 그래도 가격, 날짜처럼 실제로 확인할 수 있는 정보는 경쟁과 조작이 심해져도 중요한 근거로 남는다.
요점 ① 방어 장치를 붙여도 조작 성공률은 50.32%에서 6.20%로 낮아질 뿐 0%가 되지는 않는다. ② 추천 AI에서는 결함 상품의 추천 목록 진입 확률이 최대 83.2%포인트 늘었고, 방어해도 최대 39.2%포인트만 줄었다. ③ 문서 25만 2,000번 비교에서 관련성·위치·가격·최근 날짜가 중요했고, 서식만 바꾸는 것은 거의 효과가 없었다. ④ 에이전트 10개와 정상 웹페이지 72,039개, 오염 페이지 770개를 대상으로 한 실험에서 검색을 더 해도 근거를 알아채는 능력 자체는 좋아지지 않았다.
같이 읽을 글
- GEO는 정말 글만 잘 고치면 될까? · /column/geo-45-papers-no-stable-effect
- AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까? · /column/ai-answer-attack-defense-rate
- 작은 가게도 AI 답변에 들어갈 수 있을까? · /column/citation-concentration-is-not-fixed
- AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까? · /column/rag-cuts-sme-ai-hallucination-risk
자료 출처
- AgenticGEO: A Self-Evolving Agentic System for Generative Engine Optimization(Yuan 외, 2026.3, 기존 방식 14종·데이터셋 3개 비교)
- What Gets Cited: Competitive GEO in AI Answer Engines(Vishwakarma 외, 2026.5, 25만 2,000회 비교·요소 18개)
- When Optimization Becomes Manipulation: Defending Generative Search against Malicious GEO(Li 외, 2026.9, 폐쇄형 AI 2개·오픈소스 3개·공격 7종)
- SafeGEO: Understanding Generative Engine Optimization Risks in Recommendation Agents(연구팀, 2026.6, 공격 22종·추천 사례 600건)
- Evaluating Deep-Search Agents under Hierarchical Web Evidence Poisoning(Bi 외 14인, 2026.9, 에이전트 10개·정상 페이지 72,039개·오염 770개×3단계)
- Exposing Citation Vulnerabilities in Generative Engines(Mochizuki 외, 2025.10~2026.3, 미국·일본 정치 답변 1차 출처 인용 비율 비교)
작성일
← 칼럼 목록