가짜 글로 AI 답을 흔드는 공격, 우리 가게도 막을 수 있나?

실험에서 공격 성공률을 50.32%에서 6.20%로 낮춘 방어 기술이 나왔다. 다만 2026년 9월 기준 실제 AI 검색 서비스 적용은 아직 확인되지 않았다.

가짜 글을 이용해 AI의 답을 흔드는 공격은 실제 실험에서 확인됐다. 새로 나온 방어 기술은 공격 성공률을 50.32%에서 6.20%까지 낮췄다. 하지만 2026년 9월 기준으로 이 기술이 챗GPT나 퍼플렉시티 같은 실제 서비스에 적용됐다는 발표는 아직 없다.

실험실에서는 공격을 크게 줄였지만, 지금 당장 우리 가게를 지켜 주는 기술이라고 보기는 어렵다.

가짜 글로 AI 답을 흔드는 일이 정말 있나

있다. 글의 사실관계는 그대로 두고 표현만 바꿔서 AI가 그 글을 더 자주 인용하도록 만드는 시도가 여러 실험에서 확인됐다. 문제는 이런 글이 겉으로는 틀린 내용이 없을 수 있다는 점이다.

프린스턴 GEO 실험에서는 인용문이나 통계를 넣는 것만으로 인용 확률이 크게 달라졌다. 반복해서 같은 내용을 게시했을 때 AI 답의 인용 구성도 바뀌었고, 검색 결과에 포함된 제3자 문서가 최종 답에 영향을 준다는 연구 결과도 있었다.

실험	조건	효과	조사
프린스턴 GEO 실험	질문 1만 개, 인용문·통계 삽입	인용 확률 인용문 +43%p·통계 +33%p, 원래 5위였던 글 노출 +115%	프린스턴 대학
반복 노출 실험	같은 내용을 7회, 열흘에 걸쳐 반복 게시	AI 답의 인용 구성이 실제로 바뀜	Schulte 실험
제3자 콘텐츠 영향 실험	검색 결과에 낀 제3자 문서	최종 답 결정에 70~92% 반영	토론토대 연구팀

이런 결과는 정상적인 콘텐츠 최적화와 의도적인 조작을 구분하기가 쉽지 않다는 뜻이다. 문장이 이상한지 확인하는 것만으로는 사실은 맞지만 AI가 특정 글을 선택하도록 짜인 문서를 걸러내기 어렵다.

이번에 나온 방어 기술은 무엇을 막나

이번 방어 기술은 AI 모델 자체를 다시 학습시키는 방식이 아니다. 검색 결과 앞단에서 의심스러운 문서의 순위를 다시 매기는 장치와, 추가 학습 없이 방어 역할을 하는 문구를 만들어 붙이는 장치를 함께 사용한다.

연구팀은 이 방식을 다섯 개 AI 모델에서 실험했다. 방어 전에는 공격 성공률이 평균 50.32%였지만, 두 장치를 적용한 뒤에는 6.20%까지 낮아졌다.

AI 모델	방어 전 공격 성공률	방어 후 공격 성공률
GPT-5.5	45.45%	5.03%
Claude Opus 4.8	52.92%	5.52%
DeepSeek-V4-Pro	49.35%	5.19%
Kimi K2.7 Code	52.76%	7.47%
GLM-5.2	51.14%	7.79%
평균	50.32%	6.20%

모델마다 결과에는 차이가 있었다. 따라서 이 숫자를 모든 AI 서비스에서 똑같이 적용되는 결과로 받아들이기보다는, 이번 실험에서 확인된 방어 효과로 보는 것이 맞다.

정상적으로 쓴 글까지 막히지는 않나

방어 기술은 공격만 줄이면 되는 것이 아니다. 정상적으로 작성된 글이 함께 걸러지면 가게처럼 실제 정보를 제공하는 콘텐츠에도 문제가 생길 수 있다.

실험에서도 이 차이가 나타났다. 재정렬 장치만 사용했을 때 정상 글 보존율은 98.79%였지만, 방패 문구 생성 장치만 사용했을 때는 77.99%로 내려갔다.

두 장치를 함께 적용한 전체 방식에서는 공격 성공률이 5.03%까지 낮아졌고 정상 글 보존율은 86.68%였다. 공격을 막는 효과와 정상 글을 남기는 효과 사이에 조정이 필요하다는 점이 드러난 결과다.

구성	공격 성공률	조작 영향력	정상 글 보존율
재정렬 장치만	10.06%	6.57%	98.79%
방패 문구 생성만	10.39%	5.28%	77.99%
두 장치 통합(전체 방식)	5.03%	3.13%	86.68%

따라서 방어 기술이 나왔다는 사실만으로 모든 조작 문제가 해결됐다고 보기는 어렵다. 이번 실험에서도 공격을 줄이는 것과 정상적인 글을 보존하는 것을 함께 고려해야 했다.

기존 AI 안전장치는 왜 못 막았나

기존 안전장치는 주로 욕설이나 정책 위반처럼 문제가 분명한 콘텐츠를 찾는 데 초점이 맞춰져 있다. 사실관계는 그대로 두고 표현만 바꾼 조작 글은 이런 기준에서 쉽게 걸러지지 않을 수 있다.

실험에서도 문장 이상 탐지 필터는 공격 성공률을 43.67%까지 낮추는 데 그쳤다. 기존 콘텐츠 검열 도구 세 종류를 비교한 별도 실험에서도 공격 성공률 감소는 최대 5.7% 수준이었다.

방어 기법	성격	공격 성공률 감소(상대치)
문장 이상 탐지 필터	기존 방식	최소 수준(43.67%까지만 하락)
안전 문구 사전 삽입	기존 방식	정상 글 보존율만 71.67%로 저하
기존 콘텐츠 검열 도구 3종 평균	정책 위반 탐지용	최대 5.7% 감소
새로 제안된 전용 방어(별도 실험)	공격 전용 설계	47.6% 감소

안전 문구를 미리 넣는 방식은 또 다른 문제가 있었다. 공격을 막는 과정에서 정상 글 보존율도 71.67%로 낮아졌다.

즉 기존 안전장치가 쓸모없다는 뜻은 아니다. 애초에 다른 종류의 문제를 막기 위해 만들어진 장치이기 때문에, 사실은 맞지만 AI 답을 흔들도록 만든 콘텐츠를 막는 데에는 한계가 있었다는 결과다.

그래서 이 기술이 지금 우리 가게에도 적용돼 있나

현재 공개된 결과만 놓고 보면 그렇다고 확인하기 어렵다. 이번 실험은 연구용으로 만든 벤치마크에서 진행됐고, 실제 서비스에 이 방어 기술을 적용했다는 공식 발표는 2026년 9월 기준으로 확인되지 않았다.

실험 대상은 GPT-5.5, Claude Opus 4.8, DeepSeek-V4-Pro, Kimi K2.7 Code, GLM-5.2였다. 실험 결과가 공개됐다는 것과 실제 AI 검색 서비스가 이 기술을 사용하고 있다는 것은 서로 다른 이야기다.

항목	현재 상태
실험 결과 공개	2026년 9월
실험 대상 AI 모델	GPT-5.5·Claude Opus 4.8·DeepSeek-V4-Pro·Kimi K2.7 Code·GLM-5.2
실제 서비스(챗GPT·퍼플렉시티 등) 적용 확인	없음
사장님이 직접 설치할 수 있는 도구	없음

따라서 지금 가게에서 따로 설치하거나 켤 수 있는 전용 방어 도구가 나온 것은 아니다. 주요 AI 검색 서비스가 스팸성 조작을 걸러내는 자체 장치를 운영하고 있다는 이야기는 있지만, 이번 실험처럼 구체적인 수치로 공개 검증된 전용 방어 기술과는 구분해서 봐야 한다.

그럼 방어 기술이 없을 때 가게는 뭘 해야 하나

지금은 특정 글 하나에 정보가 몰리지 않도록 여러 곳에서 확인할 수 있는 근거를 꾸준히 쌓는 것이 중요하다. 실제 후기와 여러 채널의 일관된 정보처럼 반복해서 확인할 수 있는 내용을 갖추는 방식이다.

다른 실험에서는 AI 답 하나가 한 엔진에서만 인용되고 다른 엔진에는 나오지 않는 비율이 79.6%로 나타나기도 했다. 이런 결과를 보면 특정 한 곳의 정보만으로 가게 정보를 설명하기보다 여러 출처에서 같은 사실을 확인할 수 있게 만드는 것이 필요하다.

방어 기술이 실제 서비스에 적용되면 이런 공격을 막는 데 도움을 줄 수 있다. 하지만 현재 공개된 자료만으로는 그 기술이 우리 가게의 정보를 이미 지켜 주고 있다고 말할 수 없다.

결국 지금은 AI가 가게를 어떻게 읽는지에만 기대기보다, 고객이 확인할 수 있는 사실과 실제 후기를 꾸준히 쌓아 두는 것이 필요하다. 실험에서 검증된 방어 기술과 실제 서비스 적용 여부는 앞으로 따로 확인해야 할 문제다.

요점 ① 공격 성공률은 50.32%에서 6.20%로 낮아졌다. 요점 ② 기존 콘텐츠 검열 도구는 공격 성공률을 최대 5.7% 줄이는 데 그쳤다. 요점 ③ 전체 방식의 정상 글 보존율은 86.68%였다. 요점 ④ 2026년 9월 기준 실제 서비스 적용 확인은 없고, 직접 설치할 수 있는 도구도 없다.

같이 읽을 글

자료 출처

작성일 2026년 9월 28일

#AI의 눈 #GEO 조작 #방어기술 #벤치마크

← 칼럼 목록