AI는 가게가 지어낸 사실을 걸러낼 수 있을까?

없는 전문가 이름이나 인증을 넣어 AI 답변에 끼어드는 글을 막을 수 있는지 살펴봤다

정보를 지키면서 표현만 다듬은 글과 없는 사실을 지어낸 글은 겉으로 쉽게 구분되지 않는다. 실제 시험에서는 정보왜곡형 글이 AI 답변에 반영되는 공격 성공률이 평균 55.7%였다. 새로 제안된 방어 기법을 적용하자 성공률은 29.2%까지 낮아졌다.

AI가 글의 표현이 아니라 사실까지 확인해야 하는 문제가 생겼다.

사장님이 없는 인증이나 전문가 이름을 넣으면 AI가 알아챌까?

문제는 단순히 글을 잘 쓰는 방법이 아니다. 다른 가게에는 없는 인증을 받았다고 쓰거나, 실제로 존재하지 않는 전문가 이름을 넣거나, 없는 기관의 승인을 받았다고 적는 식으로 사실 자체를 바꾸면 AI가 그 내용을 사실처럼 받아들일 수 있다.

이번 연구는 이런 글을 따로 만들어 AI가 구분할 수 있는지를 시험했다. 정보보존형 글은 원래 사실을 그대로 두고 검색에 잘 노출되도록 표현만 다듬었고, 정보왜곡형 글은 원본에 없는 권위와 전문가 이름, 기관 승인, 통계와 증언 등을 새로 넣었다.

그렇다면 연구팀은 무엇을 보고 "왜곡"이라고 판단했을까?

판단 기준은 문장이 얼마나 그럴듯한지가 아니었다. 원본에 없는 사실을 새로 만들었는지, 그 거짓 주장이 글 안에서 반복되는지, 시점을 조작하는 표현이 붙었는지를 확인했다.

특히 목표로 삼은 거짓 주장은 표현을 바꿔가며 문서 안에서 3곳 이상 반복돼야 했다. 타임스탬프를 조작하거나 "최근 확인됨" 같은 표현을 붙이는 방식도 포함했고, 모두 8가지 유형으로 나눠 실험했다.

기준	내용
사실 변경	원본에 없는 권위·전문가 이름·기관 승인을 새로 지어 넣음
근거 위조	없는 연구·통계·증언·추천 비율·만족도를 인용
시점 조작	타임스탬프를 바꾸거나 "최근 확인됨" 같은 표현을 붙임
반복 강도	목표로 삼은 거짓 주장을 표현을 바꿔가며 문서 안 3곳 이상 반복
유형 수	스텔스 삽입·시간 조작·허위 권위 등 8가지 유형으로 나눠 실험

표현만 바꾸거나 표와 목록을 사용하는 것처럼 내용은 그대로 두고 형식만 바꾼 경우는 왜곡으로 보지 않았다. 핵심은 글의 모양이 아니라 사실이 바뀌었는지에 있었다.

실제로 그런 글을 얼마나 만들었을까?

처음에는 1,000개의 질문에서 시작했다. 각 질문마다 구글 검색 상위 5개 문서를 참고해 정보보존형 글과 정보왜곡형 글을 각각 만들었다.

그다음 자연스럽게 읽히면서도 정해진 조건을 충족하는 글만 남겼다. 정보보존형은 59.7%인 597개가 통과했고, 정보왜곡형은 26.9%인 269개가 통과했다.

단계	숫자	비고
출발 질문	1,000개	기존 GEO 순위 조작 연구의 테스트셋에서 가져옴
질문당 참고 문서	5개	구글 검색 상위 결과 HTML
재작성에 쓴 모델	1개(Claude Sonnet 4.6)	정보보존형·정보왜곡형 두 버전 각각 생성
정보보존형 통과율	59.7%(597개)	사실을 유지하며 표현만 최적화한 글
정보왜곡형 통과율	26.9%(269개)	허위 주장을 심고도 자연스럽게 읽히는 글만 통과
양쪽 다 통과(짝)	250개	같은 질문에서 두 버전 모두 조건 충족
최종 시험대	247개 질문	정보보존형 247개·정보왜곡형 237개, 사람이 재검토해 3개 제외

같은 질문에서 두 버전이 모두 통과한 경우는 250개였다. 이후 사람이 다시 확인했고, 3개를 제외해 최종 시험대에는 247개 질문이 남았다. 정보보존형은 247개, 정보왜곡형은 237개였다.

아무 방어도 하지 않으면 AI는 얼마나 속을까?

정보왜곡형 글을 AI에 넣고 별도의 방어를 하지 않았을 때 평균 공격 성공률은 55.7%였다. 세 개 AI 모델을 대상으로 한 결과다.

기존에 사용되던 방어 도구도 함께 시험했다. Granite Guardian은 공격 성공률을 54.0%로 낮췄고, Llama Guard 3은 52.5%까지 낮췄다. NeMo 자체 사실검증도 최대 5.7% 이내의 감소에 그쳤으며, 일부 결과는 통계적으로 유의미하지 않았다.

방어 기법	공격 성공률(평균)	무방비 대비
없음(무방비)	55.7%	기준
Granite Guardian	54.0%	상대 −3.1%
Llama Guard 3	52.5%	상대 −5.7%
NeMo 자체 사실검증	최대 −5.7% 이내	통계적으로 유의하지 않음
C-GEO Guard(새 제안)	29.2%	상대 −47.6%, 절대 −26.5%p

연구팀이 새로 제안한 C-GEO Guard를 적용하자 공격 성공률은 29.2%까지 내려갔다. 무방비 상태와 비교하면 상대적으로 47.6%, 절대값으로는 26.5%포인트 낮아진 수치다.

그런데 정상적인 글까지 걸러내면 어떨까?

방어를 강하게 만들수록 문제가 하나 생긴다. 실제로는 사실을 그대로 담은 정상적인 글까지 왜곡된 글로 잘못 판단할 수 있다.

C-GEO Guard가 정상 글을 잘못 판단한 비율은 2.16%였다. Granite Guardian은 0.29%였다. 즉, 왜곡을 줄이는 효과만 볼 것이 아니라 정상적인 글을 얼마나 잘 보존하는지도 함께 봐야 한다.

지표	무방비	C-GEO Guard
정답률(청결 조건, 왜곡 없음)	86.6%	—
정답률(정보보존형 글 섞임)	88.1%	—
정상 글을 오탐한 비율	—	2.16%
답변 품질(5점 만점)	4.49점	4.48점

답변 품질도 함께 측정했다. 무방비 상태의 답변 품질은 5점 만점에 4.49점이었고, C-GEO Guard를 적용했을 때는 4.48점이었다.

왜곡이 없는 청결 조건의 정답률은 86.6%였고, 정보보존형 글이 섞인 조건에서는 88.1%였다. 적어도 이번 시험에서는 새 방어 기법이 답변 품질을 크게 떨어뜨리지는 않았다.

동네 가게에는 이 결과가 왜 중요할까?

지금까지 검색에 잘 노출되는 글을 이야기할 때는 어떤 글이 AI 답변에 더 많이 인용되는지가 주로 관심사였다. 이번 시험은 한 단계 다른 문제를 다룬다. AI가 답변에 참고하는 글 자체가 사실을 지어낸 것은 아닌지 가려낼 수 있는지를 본 것이다.

결과를 보면 아직 안심할 단계는 아니다. 아무 방어도 하지 않으면 정보왜곡형 글의 공격 성공률이 55.7%에 달했고, 기존 방어 도구의 효과도 제한적이었다.

그렇다고 방어가 불가능하다는 뜻도 아니다. 이번 연구에서는 C-GEO Guard가 공격 성공률을 29.2%까지 낮추면서 정상 글을 잘못 판단한 비율은 2.16%였다.

다만 이 결과는 연구 단계의 시험에서 나온 것이다. 최종 시험대는 247개 질문과 3개 AI 모델로 구성됐으며, 실제 상용 AI 검색이나 챗GPT, 네이버 AI브리핑에 이 방어 기법이 적용됐는지는 확인되지 않았다.

결국 중요한 기준은 글이 얼마나 그럴듯하게 보이느냐가 아니다. 원래 없던 사실을 새로 만들었는지, 그 사실을 반복해서 심었는지, 시점을 조작했는지처럼 내용 자체를 확인해야 한다는 점이다.

요점 ① 최종 시험대는 247개 질문이며 정보보존형 247개·정보왜곡형 237개로 구성됐다. 요점 ② 무방비 상태에서 정보왜곡형 글의 평균 공격 성공률은 55.7%였다. 요점 ③ 기존 방어 도구는 최대 상대 5.7% 감소에 그쳤고, C-GEO Guard는 성공률을 29.2%까지 낮췄다. 요점 ④ C-GEO Guard의 정상 글 오탐 비율은 2.16%였고, 답변 품질은 4.49점에서 4.48점으로 나타났다.

같이 읽을 글

자료 출처

작성일 2026년 9월 28일

#측정 #GEO #정보왜곡 #벤치마크 #방어기법

← 칼럼 목록