경쟁사가 글을 조작하면 AI가 잡아낼 수 있을까?
AI 검색의 조작을 막는 기술이 나오고 있지만 아직 실제 서비스 적용이 확인된 것은 아니다.
경쟁사가 자기 가게가 AI 답변에 더 많이 나오게 하려고 글을 조작하는 일은 실제 연구 대상이 됐다. 2026년 9월에만 이 문제를 다룬 논문이 세 편 나왔고, 한 실험에서는 조작 성공률이 50.32%에서 6.20%까지 떨어졌다. 다만 이 기술이 지금 챗GPT나 구글 AI 모드에서 실제로 쓰이고 있다는 근거는 아직 없다.
지금 나온 방어 기술은 실험실에서는 조작을 잡아내지만, 오늘 우리 가게를 지켜주는 기술이라는 뜻은 아니다.
경쟁사가 글을 조작하면 정말 AI 답변에 더 많이 나올 수 있을까?
AI 검색은 질문에 답을 만들고 그 과정에서 참고한 웹 문서를 인용한다. 그런데 답변 하나에 들어가는 인용 자리는 많지 않기 때문에, 여러 업체가 경쟁하는 상황에서는 자기 문서를 그 자리에 넣으려는 유인이 생긴다.
2026년 8월 함샤우트 조사에서도 브랜드 소유 지도를 분석한 결과, AI 엔진마다 답변에 인용되는 문서 수와 여러 브랜드 가운데 같은 1위가 유지되는 비율에 차이가 있었다.
| AI 엔진 | 답변당 평균 인용 수 | 여러 브랜드 중 같은 1위 유지 비율 |
|---|---|---|
| 퍼플렉시티 | 19.8건 | — |
| 제미나이 | 7.8건 | — |
| 챗GPT | 4.0건 | 41.6%(지니계수 0.28) |
이런 구조에서는 경쟁사가 자기 업체에 유리한 내용을 문서에 억지로 넣는 방식이 문제가 될 수 있다. 그래서 최근 연구는 AI가 이런 조작 문서를 스스로 찾아낼 수 있는지에 집중하고 있다.
AI가 조작된 글을 스스로 찾아낼 수 있을까?
가능성을 보여주는 실험 결과는 이미 나왔다. 2026년 9월에 나온 방어 기술 실험 A에서는 폐쇄형·오픈소스 LLM 5개와 7가지 조작 방식을 대상으로 검증용 616건을 실험했다.
그 결과 조작 성공률은 50.32%에서 6.20%로 낮아졌다. 정상 문서 유지율은 94.12%였다.
| 실험(발표 시점) | 실험 조건 | 방어 전 → 방어 후 |
|---|---|---|
| 방어 기술 실험 A(2026.9) | 폐쇄형· | 조작 성공률 50.32%→6.20%, 정상 문서 유지율 94.12% |
| 방어 기술 실험 B(2026.9, 학회 채택) | 기존 방어 3종 vs 새 방어, 사람이 검증한 질문 247개 | 정보왜곡 조작 감소율 최대 5.7%(기존)→47.6%(새 방식) |
| 방어 기술 실험 C(2026.5) | 아마존 상품설명· | 조작 유형별 재현율 100%· |
다른 실험에서도 비슷한 결과가 나왔다. 기존 방어 기술보다 새로운 방어 방식을 적용했을 때 정보왜곡형 조작을 줄이는 효과가 더 크게 나타났다.
다만 이 숫자를 곧바로 실제 AI 검색 서비스의 성능으로 보면 안 된다. 논문에서 통제된 조건으로 실험한 결과이기 때문이다.
그런데 어떤 조작은 아직 잘 못 잡는 것 아닌가?
맞다. 모든 조작이 같은 수준으로 잡히는 것은 아니다. 문장에 특정 문구를 그대로 끼워 넣는 방식처럼 조작 흔적이 뚜렷한 경우와 자연스럽게 보이도록 만든 경우에는 탐지 결과에 차이가 있었다.
문구를 문장에 그대로 끼워 넣는 조작의 탐지 재현율은 100.0%였다. 결론을 유도하는 논리 문장을 추가한 방식은 95.2%였고, 고객 후기처럼 위장한 글은 83.0%였다.
| 조작 방식 | 탐지 재현율 |
|---|---|
| 문구를 문장에 그대로 끼워 넣기 | 100.0% |
| 결론을 유도하는 논리 문장 추가 | 95.2% |
| 고객 후기처럼 위장한 글 | 83.0% |
여기서 눈여겨볼 부분은 고객 후기처럼 보이게 만든 조작이다. 다른 방식보다 탐지 재현율이 낮기 때문에, 별점이나 후기 데이터가 많은 업종에서는 이런 유형의 조작을 계속 살펴볼 필요가 있다.
이 기술이 지금 챗GPT나 구글에도 들어가 있을까?
현재 확인된 세 실험은 모두 연구 결과다. 챗GPT나 구글 AI 모드, 네이버가 이 논문과 같은 방어 기술을 공식적으로 도입했다고 밝힌 근거는 없다.
사람이 직접 만드는 가짜 리뷰나 검색 조작에 대해서는 국내 플랫폼과 기관의 제재가 이미 있었다. 네이버의 AI로 만든 가짜 영수증 리뷰 적발과 리뷰 조작 제재 사례, 비교쇼핑 알고리즘 조작 관련 과징금 사례가 있다.
| 사례 | 시점 | 조치 |
|---|---|---|
| 네이버, AI로 만든 가짜 영수증 리뷰 적발 | 2026.1.28 | 한 차례 적발만으로도 업체 단위 페널티 적용 |
| 공정위, 생활용품업체 리뷰 조작 제재 | 2024.6 | 과징금 1억 4,000만 원 |
| 법원, 네이버 비교쇼핑 알고리즘 조작 관련 과징금 정당 확정 | 2026년 보도 | 과징금 266억 원 |
이런 사례가 있다는 것과 AI 답변 조작 방어 기술이 실제 검색 서비스에 적용됐다는 것은 다른 이야기다. 앞으로 볼 부분은 연구 단계의 방어 기술이 실제 AI 검색 서비스에 얼마나 빠르게 적용되는지다.
그럼 우리 가게는 지금 무엇을 해야 할까?
지금은 경쟁사의 조작을 추측하기보다 자기 홈페이지의 정보를 정확하고 일관되게 유지하는 것이 우선이다. 방어 기술이 실제 서비스에 적용되면 정상적으로 작성된 문서와 억지로 내용을 끼워 넣은 문서를 구분하려는 기능이 중요해질 수 있다.
실험에서도 조작을 줄이는 동시에 정상 문서 유지율이 94.12%로 나타났다. 적어도 이 실험에서는 조작을 막는 과정에서 정상 문서를 무조건 걸러낸 것은 아니었다.
결국 사장님이 지금 할 일은 복잡하지 않다. 가게 이름, 서비스, 가격, 위치처럼 고객이 알아야 할 정보를 홈페이지에 정확하게 적고, 실제와 다른 내용을 억지로 넣지 않는 것이다.
AI 검색의 조작 방어 기술은 아직 연구 단계다. 하지만 조작을 잡아내는 방법 자체는 이미 실험되고 있고, 앞으로 실제 AI 검색 서비스에 적용되는지가 중요한 변화가 될 수 있다.
요점 ① 2026년 9월 방어 기술 실험에서 조작 성공률 50.32%→6.20%, 정상 문서 유지율 94.12% ② 정보왜곡형 조작 감소율은 기존 최대 5.7%에서 새 방식 최대 47.6%로 나타남 ③ 고객 후기처럼 위장한 조작의 탐지 재현율은 83.0%로 문구 끼워넣기의 100.0%보다 낮음 ④ 국내 사례에서 네이버 가짜 영수증 리뷰 적발, 2024년 리뷰 조작 과징금 1억 4,000만 원, 비교쇼핑 알고리즘 조작 관련 과징금 266억 원이 확인됨
같이 읽을 글
- GEO 연구 45건을 모아보니, 뭐가 진짜 효과가 있을까? · /column/what-45-geo-studies-actually-found
- AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까? · /column/ai-answer-attack-defense-rate
- 작은 가게도 AI 답변에 들어갈 수 있을까? · /column/citation-concentration-is-not-fixed
- AI가 홈페이지 글을 알아보면 정말 손해일까? · /column/does-obvious-ai-writing-get-filtered
자료 출처
- When Optimization Becomes Manipulation: Defending Generative Search against Malicious Generative Engine Optimization(Li 외, arXiv 2609.02964, 2026.9)
- Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization(Zheng 외, arXiv 2609.02316, 2026.9, EMNLP 2026 채택)
- SCI-Defense: Defending Manipulation Attacks from Generative Engine Optimization(arXiv 2605.21948, 2026.5)
- 네이버, AI로 영수증 리뷰 조작하다 걸리면 '즉각 제재'(뉴스핌, 2026.1.28)
- "1점 리뷰 지울테니 5만원"…네이버 "리뷰 조작·검색 왜곡 행위엔 페널티"(뉴시스)
- [판결] '비교쇼핑 검색 알고리즘 조작 혐의' 네이버에 266억 과징금 부과 정당(법률신문)
작성일
← 칼럼 목록