경쟁 업체가 거짓 글을 올리면 AI가 우리 가게를 잘못 추천할까?
AI는 인터넷에서 읽은 정보를 바탕으로 답한다
AI는 인터넷에 있는 글을 읽고 고객에게 가게를 추천한다. 그런데 그 글이 거짓이라면 AI가 잘못된 정보를 바탕으로 엉뚱한 곳을 추천할 수도 있다. 실제 연구에서는 상위 3개 웹페이지를 조작했을 때 가짜 상품 추천 비율이 AI 12종 평균 42.7%까지 올라갔다.
AI는 읽은 글을 믿는다. 거짓 글도 읽으면 믿을 수 있다.
정말 웹페이지 하나만 바꿔도 AI가 속을까?
실험한 곳은 홍콩중문대와 스위스 EPFL 연구진이다. 2026년 6월 arXiv에 발표한 연구에서 AI 12종을 대상으로 실험했다.
실험에는 실제 상품 225개와 15개 분야가 사용됐다. 연구진은 AI가 검색해서 가져온 실제 웹페이지에서 상품 이름을 가짜 이름으로 바꿔 넣은 뒤, AI가 그 가짜 상품을 추천하는지 확인했다.
| 항목 | 내용 |
|---|---|
| 조사 주체 | 홍콩중문대· |
| 발표 | 2026년 6월(arXiv) |
| AI | 12종(상용· |
| 실제 상품 | 225개 |
| 분야 | 15개 |
| 소비자 상황 | 5가지 |
결과는 분명했다. 검색 결과 1위 페이지 한 장만 바꿔도 AI가 가짜 상품을 추천하는 경우가 2~27% 나왔다.
상위 3개 페이지를 모두 조작하자 차이는 더 커졌다. AI별 가짜 상품 추천 비율은 13.3~73.8%였고, 12종 평균은 42.7%였다.
| 조건 | 가짜 상품 추천 비율 |
|---|---|
| 조작 페이지 1장(1위 결과) | 2~27% |
| 상위 3장 조작 — AI별 | 13.3~73.8% |
| 상위 3장 조작 — 12종 평균 | 42.7% |
| 가장 덜 속은 AI(제미나이 3 플래시) | 13.3% |
그럼 동네 가게도 이런 영향을 받을까?
이번 연구가 실제 가게를 대상으로 한 실험은 아니다. 연구진은 가짜 상품 이름을 넣은 페이지로 실험했기 때문에, 실제 가게 정보가 왜곡되는 경우와 같은 규모로 볼 수는 없다.
다만 작은 가게가 주목할 부분은 있다. AI가 어떤 가게나 브랜드를 잘 알지 못할수록 인터넷에서 읽은 정보에 더 기대게 된다는 점이다.
특히 식당, 생활 서비스, 건강보조식품 같은 일상 소비 분야가 가장 취약했다. 반대로 AI가 진짜 브랜드를 잘 알고 있는 분야에서는 덜 속았다.
| 분야 특징 | 결과 |
|---|---|
| 식당· | 가장 취약 |
| AI가 진짜 브랜드를 잘 아는 분야 | 덜 속음 |
| 가짜를 추천한 답의 「후기· | 속지 않은 답보다 1.5~11배 많음 |
동네 가게는 전국적으로 알려진 브랜드보다 AI가 잘 모르는 가게에 가까울 수 있다. 그래서 인터넷에 가게에 관한 정확한 정보가 어디에, 어떻게 적혀 있는지가 중요하다.
AI가 거짓 후기를 만들어 낼 수도 있을까?
이번 연구에서 눈에 띄는 부분은 후기와 입소문이었다. 가짜 상품을 추천한 AI의 답에는 「사람들 사이에서 평이 좋다」 같은 표현이 속지 않은 답보다 1.5~11배 많이 나타났다.
문제는 이런 내용이 조작된 페이지에 없었다는 점이다. AI가 가짜 상품을 추천하는 과정에서 실제로 확인되지 않은 입소문을 스스로 만들어 낸 것이다.
따라서 가게 정보를 인터넷에 적을 때는 실제 고객 후기를 정확하게 관리하는 것이 중요하다. AI가 읽을 수 있는 정보와 실제 고객의 경험이 서로 다르면 잘못된 정보가 다시 만들어질 수 있다.
AI에게 「의심하라」고 하면 해결되지 않을까?
연구진은 AI가 속지 않도록 여러 가지 방어 방법도 시험했다. 그런데 단순히 「의심하라」고 지시하는 방법은 오히려 결과가 나빠졌다.
상용 AI에서는 평균 24%포인트 더 속았고, 제미나이 3.1 프로에서는 44%포인트 더 속았다. AI에게 조심하라고 말하는 것만으로는 충분한 방어가 되지 않았다.
여러 출처가 같은 내용을 말할 때만 믿도록 하는 방법도 시험했다. 이 방법은 가짜 추천을 줄였지만, 진짜 추천도 52~79% 사라졌다.
| 방어 | 결과 |
|---|---|
| 「의심하라」 지시 | 오히려 더 속음(상용 평균 +24%포인트, 제미나이 3.1 프로 +44%포인트) |
| 여러 출처 일치만 인정 | 진짜 추천 52~79%도 사라짐 |
| 신뢰도로 다시 순서 매김 | 가짜의 약 6분의 1만 걸러 냄 |
인터넷에 있는 정보의 신뢰도를 다시 매겨 순서를 바꾸는 방법도 완벽하지 않았다. 가짜 추천 가운데 약 6분의 1만 걸러 냈다.
즉, AI가 거짓 정보를 읽지 않도록 하는 문제는 아직 간단하게 해결되지 않는다. 가게 입장에서는 AI가 틀리지 않기를 기다리기보다, 정확한 정보를 먼저 만들어 두는 것이 현실적인 대응이다.
작은 가게는 지금 무엇을 준비해야 할까?
가장 먼저 가게 정보를 자기 홈페이지에 정확하게 적어 두는 것이 좋다. AI가 가게를 잘 모를수록 인터넷에서 읽은 정보에 더 기대기 때문에, 가게 이름과 제공하는 서비스 같은 기본 정보가 정확해야 한다.
그리고 한 달에 한 번 정도 AI에게 우리 가게를 물어보는 것도 확인 방법이 될 수 있다. 어떤 정보를 바탕으로 가게를 설명하거나 추천하는지 직접 확인하면 잘못된 정보가 있는지 살펴볼 수 있다.
| 할 일 | 근거 |
|---|---|
| 가게 정보를 자기 홈페이지에 정확히 | AI가 모르는 분야일수록 읽은 글을 믿음 |
| 한 달에 한 번 AI에 우리 가게를 물어 확인 | 가짜 추천이 최대 73.8% |
| 틀린 정보는 출처를 찾아 고치기 | 페이지 한 장이 2~27%를 바꿈 |
| 후기는 실제 고객 후기로 | AI가 없는 입소문까지 지어냄(1.5~11배) |
인터넷에서 틀린 가게 정보가 발견되면 그냥 두지 말고 그 정보가 적힌 출처를 찾아 고치는 것도 필요하다. 이번 실험에서는 검색 결과 1위 페이지 한 장만 바꿔도 AI의 가짜 상품 추천 비율이 2~27%까지 나타났다.
후기 역시 실제 고객의 후기를 바탕으로 관리해야 한다. 연구에서 AI는 조작된 정보만 읽고도 실제로 확인되지 않은 입소문을 만들어 냈기 때문이다.
이번 연구는 경쟁 업체가 거짓 글을 하나 올리면 곧바로 우리 가게가 추천에서 사라진다는 뜻은 아니다. 실제 가게 정보를 대상으로 한 실험도 아니며, 가짜 상품 이름을 사용한 연구라는 한계가 있다.
하지만 AI가 인터넷에서 읽은 정보를 바탕으로 답하고, 그 정보가 조작되면 잘못된 추천을 할 수 있다는 점은 확인됐다. 작은 가게일수록 정확한 가게 정보를 AI가 읽을 수 있는 곳에 먼저 남겨 두는 일이 필요하다.
① AI 12종·상품 225개를 실험했고, 상위 1개 페이지 조작만으로 가짜 추천이 2~27% 나왔다. ② 상위 3개 페이지 조작 때 12종 평균 42.7%, 최대 73.8%가 가짜 상품을 추천했다. ③ 「의심하라」는 지시는 오히려 상용 AI 평균 24%포인트, 제미나이 3.1 프로 44%포인트 더 속게 했다. ④ 가게 정보는 홈페이지에 정확히 적고, 한 달에 1번 AI 추천을 확인하며 실제 고객 후기를 관리해야 한다.
같이 읽을 글
- AI에 나오려고 만든 글, 정말 통할까?
- AI가 우리 가게 정보를 틀리게 말할 수도 있나?
- AI가 붙인 출처 링크를 열어 보면 내용도 맞을까?
- AI는 우리 회사 이야기를 우리 홈페이지에서 읽을까?
자료 출처
- Luo·Chen 「One Polluted Page Is Enough: Evaluating Web Content Pollution in LLM Recommenders」 arXiv 2606.13610(홍콩중문대·EPFL, 2026년 6월)
- FORGE 실험 코드 저장소(깃허브)
- Zhang·Triedman·Shmatikov 「Deep-Research Agents Can Be Poisoned via User-Generated Content」 arXiv 2605.24245(코넬테크)
- Rao 외 「Detecting and Correcting Reference Hallucinations」 arXiv 2604.03173
- Onweller 외 「Cited but Not Verified」 arXiv 2605.06635 — 사실 일치 39~77%
작성일
← 칼럼 목록