인터넷에 가짜 정보가 올라오면 AI가 그대로 믿을까?
AI가 가게 정보를 답할 때 거짓 정보가 섞이면 실제로 영향을 받을 수 있다
누군가 가게에 대한 거짓 정보를 인터넷에 올리면 AI가 그 내용을 답변에 사용할 가능성이 있다. 실제 실험에서 거짓 정보를 섞은 공격은 평균 55.7%의 확률로 AI 답변을 왜곡했다. 새로 만든 방어 기법도 공격 성공률을 상대적으로 47.6% 줄였지만, 공격의 절반 이상은 여전히 통했다.
인터넷에 있는 정보가 자연스럽고 믿을 만해 보인다고 해서 AI가 그 내용의 진위를 정확하게 가려내는 것은 아니다.
누군가 가짜 정보를 그럴듯하게 만들면 어떻게 될까?
이번 실험은 단순히 틀린 문장을 하나 넣는 방식이 아니었다. 원래 사실을 유지한 문서와 거짓 정보를 넣은 문서를 비슷한 수준으로 다듬은 뒤 AI가 어떤 문서를 읽고 답하는지 비교했다.
거짓 정보를 넣은 문서에는 꾸며낸 권위, 가짜 인용, 틀린 시점이 사용됐다. 같은 거짓 주장을 최소 3곳에 표현을 바꿔 반복해서 넣었다. 문서 전체가 자연스럽게 보이도록 만들었다는 점이 핵심이다.
| 구분 | 정의 |
|---|---|
| 정보보존형 재작성 | 원래 사실은 그대로 두고 구조· |
| 정보왜곡형 재작성 | 같은 최적화 강도를 유지하면서 꾸며낸 권위· |
| 검증 질문 수 | 247개(사람이 검증하고 품질 기준을 통과한 것만) |
| 평가 기준 | 공격 성공률· |
검증 질문은 247개였다. 사람이 먼저 질문을 확인하고 품질 기준을 통과한 질문만 실험에 사용했다. 따라서 단순한 문서 오류를 보는 실험이 아니라, AI가 정보를 읽고 답하는 과정에서 거짓 정보가 얼마나 영향을 미치는지를 살펴본 것이다.
실제로 AI가 얼마나 속았을까?
방어 장치를 사용하지 않은 상태에서 세 종류의 AI 모델에 같은 공격을 적용했다. 평균 공격 성공률은 55.7%였다. 95% 신뢰구간도 53.1~58.2%로 나타났다.
모델별 차이는 있었지만 모두 비슷한 수준이었다. Gemma-4-31B는 56.5%, Qwen-3.5-35B는 55.9%, Llama-4-Scout-17B는 54.7%였다.
| 피해 모델 | 공격 성공률(ASR) |
|---|---|
| 3개 모델 평균 | 55.7%(95% 신뢰구간 53.1~58.2%) |
| Gemma-4-31B | 56.5% |
| Qwen-3.5-35B | 55.9% |
| Llama-4-Scout-17B | 54.7% |
이 결과가 보여주는 것은 분명하다. 인터넷에 있는 거짓 정보가 AI가 읽기 좋은 형태로 만들어지면 AI 답변에 실제 영향을 줄 수 있다.
가게 정보를 찾는 고객에게도 이 문제는 중요하다. AI가 어떤 업체의 위치나 서비스, 특징처럼 사실 확인이 필요한 정보를 설명할 때 인터넷에 들어간 정보가 답변의 근거가 될 수 있기 때문이다.
지금 있는 방어 기술이면 충분할까?
기존에 나온 세 가지 방어 도구를 사용해 같은 공격을 다시 시험했다. 하지만 공격을 크게 줄이지는 못했다.
첫 번째 도구는 공격 성공률을 1.7%포인트 줄였지만 통계적으로 유의하지 않았다. 두 번째 도구는 3.2%포인트, 상대적으로는 5.7% 줄였다.
세 번째 도구는 모델에 따라 결과 차이가 컸다. 한 모델에서는 왜곡 문서를 3.24% 차단했지만, 다른 모델에서는 정상 문서의 98.4%를 걸러내 사실상 사용할 수 없는 수준이었다.
| 방어 도구 | 공격 성공률 감소 | 비고 |
|---|---|---|
| 첫 번째 도구(위해 기준 분류형) | 1.7%포인트, 통계적으로 유의하지 않음(p=0.096) | 정상 문서 차단율 0.43% |
| 두 번째 도구(안전 분류형) | 3.2%포인트, 상대 5.7% 감소(p<0.001) | 정상 문서 차단율 0.65% |
| 세 번째 도구(사실 검증형) | 모델별로 크게 갈림, 한 모델에서만 왜곡 문서 3.24% 차단 | 다른 모델에서는 정상 문서 98.4%를 걸러내 사실상 작동 불가 |
즉, 방어 기술이 있다는 사실만으로 가짜 정보 문제를 해결했다고 보기는 어렵다. 공격을 막는 과정에서 정상적인 정보까지 지나치게 차단하면 실제 서비스에서는 사용하기 어렵다.
새로 만든 방어는 얼마나 막았을까?
같은 실험에서 새로 제안한 방어 기법을 사용하자 공격 성공률은 상대적으로 47.6% 줄었다. 절대 기준으로는 26.5%포인트 감소했다.
정상 문서를 잘못 차단한 비율은 정상 문서에서 2.30%, 정보보존형 문서에서 2.16%였다. 답변 정확도가 떨어지는 정도도 0.2%포인트였다.
| 지표 | 수치 |
|---|---|
| 공격 성공률 감소(상대) | 47.6% |
| 공격 성공률 감소(절대) | 26.5%포인트(95% CI 23.8~29.3%포인트) |
| 정상 문서 오차단율 | 2.30%(정상 문서)· |
| 답변 정확도 손실 | 0.2%포인트 |
기존 세 가지 방어보다 결과는 나아졌다. 하지만 이것도 공격을 모두 막아낸 것은 아니다. 공격 성공률이 줄었다는 것과 거짓 정보가 AI 답변에 들어오는 문제를 완전히 해결했다는 것은 다른 이야기다.
특히 어떤 정보에서 조심해야 할까?
이번 실험의 247개 질문 가운데 의학·보건이 37건으로 15.0%를 차지했다. 법률은 28건으로 11.3%였고, 엔터테인먼트는 26건으로 10.5%였다.
정치·시사는 21건으로 8.5%, 과학·연구도 21건으로 8.5%였다. 의학·보건과 법률처럼 정확한 정보가 중요한 주제가 실험에서 상당한 비중을 차지했다.
| 주제 | 비율(건수, 247건 중) |
|---|---|
| 의학· | 15.0%(37건) |
| 법률 | 11.3%(28건) |
| 엔터테인먼트 | 10.5%(26건) |
| 정치· | 8.5%(21건) |
| 과학· | 8.5%(21건) |
이런 결과는 가게 정보를 다룰 때도 참고할 만하다. 특히 고객이 실제 이용 여부를 판단하는 데 영향을 줄 수 있는 정보라면, 인터넷에 어떤 내용이 올라가 있는지와 AI가 그 내용을 어떻게 받아들이는지를 함께 살펴볼 필요가 있다.
가짜 정보가 없어도 AI 답변은 완벽하지 않다
문제는 누군가 일부러 거짓 정보를 심었을 때만 생기는 것이 아니다. 공격이 없어도 AI 답변에는 오류가 생길 수 있다는 조사 결과가 있다.
2025년 10월 3,000건의 뉴스 관련 질문을 대상으로 14개 언어와 22개 방송사가 함께 확인한 조사에서는 답변의 45%에서 중대한 문제가 발견됐다. 어떤 형태로든 문제가 있는 답변은 81%였다.
| 조사 | 시점· | 수치 |
|---|---|---|
| 뉴스 정확도 공동조사 | 2025.10, 3,000건· | 중대한 문제 45%· |
| 디지털뉴스리포트 | 2026, 세계 조사 | AI 답 신뢰 20%, 한국 뉴스용 AI 이용 14%, 한국 원문 클릭 56%(1위) |
| 국내 이용자패널조사 | 2026.5.28 발표, 전국 만 18~72세 4,324명 | 전체 이용률 38.9%, 단독 자영업자 이용률 12.6% |
2026년 디지털뉴스리포트에서는 AI 답을 신뢰한다는 비율이 20%였다. 한국에서 뉴스 이용에 AI를 사용하는 비율은 14%였고, 원문 링크를 직접 클릭해 확인하는 비율은 56%로 조사 대상국 가운데 가장 높았다.
국내 이용자패널조사에서는 전체 생성형 AI 이용률이 38.9%였고, 단독 자영업자의 이용률은 12.6%였다. AI를 사용하는 사람이 늘어나는 상황에서도 답변의 정확성을 따로 확인하는 과정이 중요하다는 점을 보여주는 수치다.
가게 정보도 마찬가지다. 인터넷에 있는 정보가 AI 답변으로 이어지는 과정에서는 정상적인 오류와 의도적인 정보 왜곡을 모두 생각해야 한다. 이번 실험에서 새 방어 기법이 효과를 보였지만 공격의 절반 이상이 여전히 통했다는 점도 함께 봐야 한다.
결국 중요한 것은 인터넷에 정보가 있다는 사실만으로 안심하지 않는 것이다. 고객이 가게를 찾을 때 접할 수 있는 정보가 사실과 맞는지 꾸준히 확인하고, 잘못된 정보가 있다면 바로잡을 필요가 있다.
요점 ① 검증 질문 247개에서 공격 성공률 평균 55.7% ② 기존 방어 3종은 최대 상대 5.7% 감소 ③ 새 방어는 공격 성공률을 상대 47.6%, 절대 26.5%포인트 감소 ④ 2025년 10월 뉴스 3,000건 조사에서 45%는 중대한 문제, 81%는 어떤 형태로든 문제
같이 읽을 글
- AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까?
- AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까?
- AI는 가게의 새 가격과 옛 가격 중 무엇을 믿을까?
- 고객은 AI 답을 검색 결과만큼 믿을까?
자료 출처
- Counter-GEO-Bench: Evaluating Defenses Against Information-Distorting Generative Engine Optimization(Zheng·Zhao·Yang, EMNLP 2026 채택본, 2026.9.2 공개, 검증 질문 247개)
- Counter-GEO-Bench 전문(HTML판, 모델별·방어 도구별 수치 표 포함)
- GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization(2026)
- Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization(2023-2026)
- News Integrity in AI Assistants(EBU, 2025.10, 3,000건·22개 방송사 공동조사)
- Digital News Report 2026 – South Korea(Reuters Institute)
- 한국인 10명중 4명 AI 사용...하루 50분 쓴다(파이낸셜뉴스, 2026.5.28, KISDI 이용자패널조사 인용)
작성일
← 칼럼 목록