AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까?

AI가 인터넷의 가게 정보를 일부러 엉뚱하게 읽도록 만드는 공격은 실제로 있다. 새로 나온 방어 기법은 이런 공격의 성공률을 47.6% 낮췄다. 다만 아직 AI 답변에 이름이 나오지 않는 가게라면 지금 당장 공격을 걱정할 상황은 아니다.

AI가 우리 가게 정보를 엉뚱하게 읽을 수도 있을까?

가능하다. 원래 검색 엔진 최적화(GEO)는 가게 정보가 AI 답변에 잘 뽑히도록 만드는 작업이다. 그런데 같은 원리를 반대로 사용하면 사람이 읽을 때는 멀쩡한 글을 만들면서 AI가 읽을 때는 답을 다른 방향으로 이끌 수 있다.

최근 공개된 연구에서는 이런 공격을 세 가지 방식으로 나눴다. AI가 잘 반응하는 문구를 글 속에 넣는 방식, 답을 특정 방향으로 이끄는 논리 문장을 덧붙이는 방식, 실제 고객 후기처럼 보이는 문장으로 신뢰를 얻는 방식이다.

사람이 알아채기 어려운 공격도 있다는 점이 문제다. 특히 후기처럼 자연스럽게 보이는 문장은 일반적인 글과 구분하기가 쉽지 않다.

이런 공격은 얼마나 잘 막을 수 있을까?

기존 방어 도구가 모든 공격을 잘 막아주는 것은 아니다. 연구에서 그래나이트 가디언, 라마 가드3, 니모 사실확인을 시험했을 때 공격 성공률을 낮춘 정도는 최대 5.7%에 그쳤고, 이 차이는 통계적으로 유의하지 않았다.

반면 정보왜곡형 공격을 막기 위해 새로 만든 방어 기법은 공격 성공률을 47.6% 낮췄다. 답변 품질 손실도 거의 남기지 않았다.

문서를 서로 비교해 이상한 문서를 골라내는 그래프 기반 재순위 방식도 별도 실험에서 공격 성공률을 최대 80%까지 낮춘 사례가 있었다. 다만 이것은 LLM 6종을 대상으로 한 별도 실험 결과다.

어떤 공격이 가장 잘 숨어들까?

공격 방식에 따라 방어 성능도 달랐다. 눈에 잘 보이지 않는 문자열 삽입 공격은 신규 방어가 100% 걸러냈다.

논리적으로 그럴듯한 문장을 넣는 추론 조작은 95.2%를 걸러냈다. 반면 실제 고객이 쓴 후기처럼 자연스럽게 보이도록 만든 후기형 설득 공격은 83.0%가 걸러졌다.

더 눈여겨볼 부분은 기존 방어 도구 세 가지의 결과다. 문장 난이도 필터, 안전 분류기, 문장 바꿔쓰기 방식은 새로 설계한 공격 다섯 종류를 한 건도 걸러내지 못했다.

이 결과는 모든 AI 공격을 기존 안전장치만으로 막을 수 있다고 보기 어렵다는 뜻이다. 공격 방식이 달라지면 방어 방식도 달라져야 한다.

그런데 이 연구 결과를 우리 가게에 그대로 적용해도 될까?

아직은 조심해서 봐야 한다. 이번 실험은 실제 동네 가게에서 공격이 일어났다는 사례를 조사한 것이 아니라, 정해진 벤치마크에서 공격과 방어 성능을 확인한 연구이기 때문이다.

정보왜곡형 공격 방어 실험은 사람이 직접 검증한 질문 247개를 만들어 AI 모델 3종에 적용했다. 공격 방식별 탐지 실험은 아마존 상품 설명 600건과 웹 문서 600건을 대상으로 모두 1,200회 평가했다.

그래프 기반 재순위 실험에서는 GPT-3.5, GPT-4o, 라마, 큐원 등을 포함한 AI 모델 6종을 검증했다. 실험 규모가 작지는 않지만, 실제 한국 소상공인 홈페이지를 대상으로 한 공격 사례나 피해 통계가 공개된 것은 아니다.

따라서 지금 나온 숫자를 보고 모든 가게가 공격받고 있다고 생각할 필요는 없다. 현재 확인할 수 있는 것은 이런 공격이 기술적으로 가능하고, 이를 막기 위한 방어 기술도 연구되고 있다는 정도다.

그럼 우리 가게가 공격 대상이 될 가능성은 언제 커질까?

공격자가 답을 흔들려면 먼저 AI가 그 가게를 답변에 활용해야 한다. AI 답변에 이름이 한 번도 나오지 않는 가게라면 왜곡할 답 자체가 없다.

9월 15일 4개 AI 엔진을 대상으로 확인한 조사에서는 조사한 가게 가운데 노출된 곳이 0곳이었다. 현재 AI 답변에 이름이 나오지 않는 가게가 대부분이라면, 당장 이런 공격을 가장 먼저 걱정할 단계는 아니라는 뜻이다.

반대로 AI 답변에 가게 이름이 나오기 시작하면 상황이 달라질 수 있다. 가게가 자주 인용될수록 경쟁사가 그 정보를 흔들 유인이 커질 수 있기 때문이다.

한 조사에서는 대형 브랜드의 인용 비율이 73%였고 소규모 매장은 11%였다. 이 수치는 모든 가게가 공격받는다는 뜻이 아니라, AI 답변에 더 자주 등장하는 브랜드가 공격 대상으로 삼을 이유도 더 커질 수 있다는 점을 보여준다.

지금 사장님이 알아둘 것은 무엇일까?

첫째, AI가 읽는 가게 정보도 공격 대상이 될 수 있다는 사실이다. 홈페이지나 후기처럼 사람이 보기에는 정상적인 글도 AI의 답을 특정 방향으로 이끄는 데 이용될 수 있다.

둘째, 그렇다고 지금 모든 가게가 공격을 걱정할 필요는 없다. 현재 AI 답변에 이름이 나오지 않는 가게라면 왜곡할 답 자체가 없기 때문이다.

중요한 것은 AI에서 가게가 노출되기 시작하는 시점이다. 그때부터는 홈페이지와 후기 같은 정보가 AI가 참고하는 자료가 될 수 있다는 점을 함께 살펴볼 필요가 있다.

같이 읽을 글

• 검색하는 AI는 가짜 글에 얼마나 속을까? · /column/search-agent-manipulation-vulnerability-rate
• GEO는 이제 뭐가 진짜 통하는 걸까? · /column/45-geo-studies-no-stable-technique
• 우리 회사 이름을 AI에게 한 번만 물어봐도 될까? · /column/ask-ai-about-your-brand-name

자료 출처

• Counter-GEO-Bench 정보왜곡형 GEO 공격 방어 벤치마크(Zheng·Zhao·Yang, 2026.9, 질문 247개·AI 모델 3종)
• GEO-Bench 순위조작 공격 벤치마크(2026.5, 공격 3유형 표준화 비교)
• SCI-Defense 의미조작 공격 방어 연구(2026.5, 상품 설명 600건+웹 문서 600건 총 1,200회 평가)
• GRADA 그래프 기반 재순위 방어(2025, AI 모델 6종 실험)
• GRADA 학회 게재본(ACL 2025 EMNLP 본회의)
• SilentRetrieval 의미보존형 데이터 오염 공격 연구(2026.5)