# 인터넷에 가짜 정보가 올라오면 AI가 그대로 믿을까?

_AI가 가게 정보를 답할 때 거짓 정보가 섞이면 실제로 영향을 받을 수 있다_

> 검증 질문 247개를 대상으로 한 실험에서 공격 성공률은 평균 55.7%였다. 기존 방어는 최대 5.7%, 새 방어도 47.6%를 줄이는 데 그쳤다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/geo-attacks-that-fool-ai-answers
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-27

누군가 가게에 대한 거짓 정보를 인터넷에 올리면 AI가 그 내용을 답변에 사용할 가능성이 있다. 실제 실험에서 거짓 정보를 섞은 공격은 평균 55.7%의 확률로 AI 답변을 왜곡했다. 새로 만든 방어 기법도 공격 성공률을 상대적으로 47.6% 줄였지만, 공격의 절반 이상은 여전히 통했다.

인터넷에 있는 정보가 자연스럽고 믿을 만해 보인다고 해서 AI가 그 내용의 진위를 정확하게 가려내는 것은 아니다.

## 누군가 가짜 정보를 그럴듯하게 만들면 어떻게 될까?

이번 실험은 단순히 틀린 문장을 하나 넣는 방식이 아니었다. 원래 사실을 유지한 문서와 거짓 정보를 넣은 문서를 비슷한 수준으로 다듬은 뒤 AI가 어떤 문서를 읽고 답하는지 비교했다.

거짓 정보를 넣은 문서에는 꾸며낸 권위, 가짜 인용, 틀린 시점이 사용됐다. 같은 거짓 주장을 최소 3곳에 표현을 바꿔 반복해서 넣었다. 문서 전체가 자연스럽게 보이도록 만들었다는 점이 핵심이다.

| 구분 | 정의 |
|---|---|
| 정보보존형 재작성 | 원래 사실은 그대로 두고 구조·권위 있는 표현·인용문 등 검색 최적화 기법만 적용 |
| 정보왜곡형 재작성 | 같은 최적화 강도를 유지하면서 꾸며낸 권위·가짜 인용·틀린 시점으로 거짓 주장을 최소 3곳에 표현을 바꿔 반복 삽입 |
| 검증 질문 수 | 247개(사람이 검증하고 품질 기준을 통과한 것만) |
| 평가 기준 | 공격 성공률·정상 문서 오차단율·답변 정확도 손실 |

검증 질문은 247개였다. 사람이 먼저 질문을 확인하고 품질 기준을 통과한 질문만 실험에 사용했다. 따라서 단순한 문서 오류를 보는 실험이 아니라, AI가 정보를 읽고 답하는 과정에서 거짓 정보가 얼마나 영향을 미치는지를 살펴본 것이다.

## 실제로 AI가 얼마나 속았을까?

방어 장치를 사용하지 않은 상태에서 세 종류의 AI 모델에 같은 공격을 적용했다. 평균 공격 성공률은 55.7%였다. 95% 신뢰구간도 53.1~58.2%로 나타났다.

모델별 차이는 있었지만 모두 비슷한 수준이었다. Gemma-4-31B는 56.5%, Qwen-3.5-35B는 55.9%, Llama-4-Scout-17B는 54.7%였다.

| 피해 모델 | 공격 성공률(ASR) |
|---|---|
| 3개 모델 평균 | 55.7%(95% 신뢰구간 53.1~58.2%) |
| Gemma-4-31B | 56.5% |
| Qwen-3.5-35B | 55.9% |
| Llama-4-Scout-17B | 54.7% |

이 결과가 보여주는 것은 분명하다. 인터넷에 있는 거짓 정보가 AI가 읽기 좋은 형태로 만들어지면 AI 답변에 실제 영향을 줄 수 있다.

가게 정보를 찾는 고객에게도 이 문제는 중요하다. AI가 어떤 업체의 위치나 서비스, 특징처럼 사실 확인이 필요한 정보를 설명할 때 인터넷에 들어간 정보가 답변의 근거가 될 수 있기 때문이다.

## 지금 있는 방어 기술이면 충분할까?

기존에 나온 세 가지 방어 도구를 사용해 같은 공격을 다시 시험했다. 하지만 공격을 크게 줄이지는 못했다.

첫 번째 도구는 공격 성공률을 1.7%포인트 줄였지만 통계적으로 유의하지 않았다. 두 번째 도구는 3.2%포인트, 상대적으로는 5.7% 줄였다.

세 번째 도구는 모델에 따라 결과 차이가 컸다. 한 모델에서는 왜곡 문서를 3.24% 차단했지만, 다른 모델에서는 정상 문서의 98.4%를 걸러내 사실상 사용할 수 없는 수준이었다.

| 방어 도구 | 공격 성공률 감소 | 비고 |
|---|---|---|
| 첫 번째 도구(위해 기준 분류형) | 1.7%포인트, 통계적으로 유의하지 않음(p=0.096) | 정상 문서 차단율 0.43% |
| 두 번째 도구(안전 분류형) | 3.2%포인트, 상대 5.7% 감소(p 

- AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까?

- AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까?

- AI는 가게의 새 가격과 옛 가격 중 무엇을 믿을까?

- 고객은 AI 답을 검색 결과만큼 믿을까?
 

## 자료 출처

 

- Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization(Zheng·Zhao·Yang, EMNLP 2026 채택본, 2026.9.2 공개, 검증 질문 247개)

- Counter-GEO-Bench 전문(HTML판, 모델별·방어 도구별 수치 표 포함)

- GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization(2026)

- Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization(2023-2026)

- News Integrity in AI Assistants(EBU, 2025.10, 3,000건·22개 방송사 공동조사)

- Digital News Report 2026 – South Korea(Reuters Institute)

- 한국인 10명중 4명 AI 사용...하루 50분 쓴다(파이낸셜뉴스, 2026.5.28, KISDI 이용자패널조사 인용)