# 경쟁사가 우기면 AI가 가게 정보를 바꿀 수도 있나요?

_그럴듯한 반박 한 통에도 AI가 흔들릴 수 있으니, 확인 가능한 진짜 근거를 미리 남겨야 한다_

> 설득을 연습한 AI의 메시지 한 통에 정답률이 66.2%에서 1.8%로 떨어졌다. 가장 잘 먹힌 수법은 지어낸 출처와 거짓 권위였다. 가게 정보도 확인 가능한 근거를 미리 갖춰야 한다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/one-fake-rebuttal-flips-ai-answer
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-08

AI가 처음에는 맞게 답했더라도 그럴듯한 반박을 만나면 답을 바꿀 수 있다. 미국 일리노이대 연구에서는 설득을 연습한 AI가 한 통의 메시지로 다른 AI의 정답률을 66.2%에서 1.8%까지 떨어뜨렸다. 다만 큰 상용 모델은 훨씬 덜 흔들렸고, GPT-5-mini는 넘어간 비율이 3%였다.

AI는 근거가 그럴듯하면 흔들릴 수 있다. 그래서 가게 정보에는 누구나 확인할 수 있는 진짜 근거를 미리 남겨 둬야 한다.

## 경쟁사가 근거를 붙여 반박하면 AI가 믿을 수도 있나요?

가능성은 있다. 다만 이번 연구가 가게 검색을 직접 실험한 것은 아니다. 연구진은 AI끼리 메시지를 주고받는 방식으로, 한 AI가 맞는 답을 틀린 답으로 바꾸게 할 수 있는지를 시험했다.

답하는 AI가 처음에 맞힌 문제만 골라서 봤다. 설득하는 AI는 메시지를 딱 한 통 보냈고, 미리 정해 둔 틀린 답으로 바꾸면 성공으로 계산했다. 처음에는 Qwen-2.5-7B의 정답률이 66.2%였지만, 연습하지 않은 설득 AI의 메시지만으로도 44.8%까지 내려갔다.

설득하는 AI가 시행착오를 거쳐 설득 방법을 연습하자 결과가 훨씬 크게 달라졌다. 정답률은 1.8%까지 떨어졌고, 설득 성공률은 93.7%까지 올라갔다.

| 조건(흔한 오해 문제집, Qwen-2.5-7B가 답함) | 정답률 | 설득 성공률 |
|---|---|---|
| 아무 메시지도 없을 때 | 66.2% | — |
| 연습 안 한 설득 AI가 한 통 보낸 뒤 | 44.8%(−21.4%p) | 24.3% |
| 설득을 연습한 AI가 한 통 보낸 뒤 | 1.8%(−64.4%p) | 93.7% |

## 어떤 반박이 AI를 가장 잘 흔드나요?

가장 눈에 띈 것은 지어낸 출처와 거짓 권위였다. 단순히 논리를 길게 설명하는 것보다, 확인하기 어려운 연구나 권위 있는 기관을 내세우는 방식이 더 잘 통했다.

논문에 나온 예도 비슷하다. AI가 DNA에 영향을 주는 식품 성분을 묻는 질문에 처음에는 맞는 답을 골랐다. 그런데 반박 메시지가 먼저 AI의 판단을 인정한 뒤 거짓 주장을 넣고, 출처를 밝히지 않은 채 「연구에 따르면」이라고 말했다.

마지막에는 질문의 표현까지 바꿨다. 원래 답이 맞는 상황인데도 「가장 정확한 하나는?」이라는 식으로 좁혀 AI의 판단을 흔들었다.

연구진이 메시지를 분석한 결과, 다섯 문제집 가운데 넷에서는 증거를 지어내거나 상대가 자신의 판단을 의심하게 만드는 「속이기」가 가장 많았다. 의학 문제집에서는 「권위 내세우기」가 가장 많았고, 유명 병원 같은 권위 있는 출처를 지어내는 경우가 잦았다.

| 답하는 AI | 넘어간 비율 | 기준 |
|---|---|---|
| Qwen-14B | 82.5%(연습 전보다 +61.8%p) | 흔한 오해 문제집 |
| Llama-3.1-8B | 79.0%(+70.6%p) | 흔한 오해 문제집 |
| PBT-8B(설득 방어 훈련 모델) | 60% | 다섯 문제집 평균 |
| DeepSeek-R1 7B(추론형) | 61% | 다섯 문제집 평균 |
| GPT-4o-mini | 16% | 다섯 문제집 평균 |
| GPT-5-mini | 3% | 다섯 문제집 평균 |

## 처음 보는 AI에도 이런 반박이 통하나요?

통할 수 있었다. 한 모델을 상대로 연습한 설득 AI를 처음 보는 다른 모델에 사용했는데, 오픈 모델은 크게 흔들렸다. Qwen-14B는 82.5%, Llama-3.1-8B는 79.0%가 넘어갔다.

설득 방어 훈련을 받은 PBT-8B도 다섯 문제집 평균 60%가 넘어갔다. 추론형인 DeepSeek-R1 7B도 61%였다.

상용 모델은 훨씬 단단했다. GPT-4o-mini는 16%, GPT-5-mini는 3%만 넘어갔다. 그렇다고 완전히 안전하다는 뜻은 아니다.

쉬운 상대를 먼저 상대로 연습한 설득 AI를 GPT-4o-mini에 다시 훈련시키자, 흔한 오해 문제집에서 성공률이 24.6%에서 37.9%로 올랐다. 처음부터 GPT-4o-mini만 상대로 연습했을 때는 성공률이 0.5%에 그쳤다.

| 자료 | 실험 규모 | 핵심 숫자 |
|---|---|---|
| 일리노이대 설득 공격 실험(2026.8) | 훈련 2,886개(817문항 중 100개는 평가용으로 뺌), 문제집마다 평가 300문항, 5회 반복 | 성공률 24.3→93.7%, 메시지 500개 분류 |
| 스탠퍼드대 맞장구 실험(2025.2, 개정 2025.9) | GPT-4o·Claude Sonnet·Gemini 1.5 Pro, 수학·의료 문제 | 반박 뒤 의견 바꿈 58.19%, 맞던 답→틀린 답 14.66%, 바뀐 답 유지 78.5% |
| 학생 숙제 채점 실험(2025.6) | GPT-4o·GPT-4.1 계열 5개 | 학생이 틀린 답을 말하면 정확도 최대 −15%p, 작은 모델 30%·GPT-4o 8% 변동 |

## 그럼 우리 가게 정보도 틀리게 바뀔 수 있나요?

여기서는 조심해서 봐야 한다. 이번 실험은 AI 검색으로 가게 정보를 찾는 상황을 직접 시험한 것이 아니다. 문제도 객관식이었고, 설득 메시지도 AI에게 바로 전달했다.

하지만 AI가 웹에서 가져온 글을 답의 재료로 쓴다는 점에서 생각해 볼 부분은 있다. 예를 들어 「OO가게가 지난달 폐업했다」거나 「OO의원 원장 면허가 정지됐다」는 내용이 그럴듯한 출처와 함께 검색에 걸리면, 확인되지 않은 정보가 답에 영향을 줄 가능성을 무시하기 어렵다.

반대로 가게가 확인할 수 있는 공식 근거를 미리 많이 남겨 두는 것도 중요하다. 2026년 9월 16일 회사 측정에서는 챗GPT가 인용한 31건 가운데 10건이 업체 자기 홈페이지였고, 3건은 정부 사이트였다.

다만 공식 근거를 미리 남겨 두면 반박을 얼마나 막을 수 있는지는 이번 연구가 직접 측정하지 않았다. 이 숫자를 「공식 홈페이지가 있으면 AI가 틀리지 않는다」는 뜻으로 받아들이면 안 된다.

## 사장님은 지금 무엇을 해 두면 되나요?

가장 먼저 영업 상태, 주소, 가격처럼 틀리면 고객에게 바로 영향을 주는 정보를 홈페이지 한 페이지에 정리한다. 바꾼 날짜와 가격표 기준일도 함께 적어 두는 편이 좋다.

허가나 등록처럼 기관에서 확인할 수 있는 사실은 기관 공식 페이지로 연결한다. 경쟁사가 다른 말을 하더라도 고객과 AI가 확인할 수 있는 실제 근거가 남아 있어야 한다.

플랫폼마다 같은 사실을 적는 것도 중요하다. 홈페이지와 지도, SNS에서 영업시간이나 주소가 서로 다르면 어느 쪽이 맞는지 판단하기 어려워진다.

한 달에 한 번은 같은 질문을 여러 AI에 던져 보는 것도 방법이다. 엔진 4곳에 질문 5개를 던져 가게 이름, 영업 상태, 주소, 가격 같은 핵심 정보가 어떻게 나오는지 확인한다.

틀린 내용이 발견되면 출처 링크를 달아 정정 글을 남긴다. 원래 글의 주소와 정정 날짜도 함께 적으면 어떤 내용이 언제 바로잡혔는지 확인하기 쉽다.

| 미리 해 둘 일 | 왜(연구 근거) | 확인할 숫자·조건 |
|---|---|---|
| 영업 상태·주소·가격을 홈페이지 한 페이지에 날짜와 함께 적기 | 상대 말을 인정한 뒤 거짓을 끼워 넣는 수법이 통했다 | 고친 날짜, 가격표 기준일 |
| 허가·등록 사실은 기관 공식 페이지에 링크 걸기 | 지어낸 권위가 의학 문제에서 가장 잘 먹혔다 | 확인 가능한 링크 1개 이상 |
| 「한 줄 사실」을 플랫폼마다 똑같이 맞추기 | 반박 뒤 바뀐 답이 78.5% 유지됐다 | 홈페이지·지도·SNS 표기가 같은지 |
| 한 달에 한 번 같은 질문을 여러 AI에 던져 보기 | 모델마다 넘어가는 비율이 3~82.5%로 달랐다 | 엔진 4곳 × 질문 5개 |
| 틀린 내용을 찾으면 출처 링크를 달아 정정 글 올리기 | 맞장구 실험에서 근거 있는 말이 답을 바꿨다 | 원 글 주소, 정정 날짜 |

## 우리도 거짓 출처로 맞받아치면 안 되나요?

안 된다. 연구가 보여 준 것은 거짓 출처가 설득에 통할 수 있다는 사실이지, 가게가 거짓 근거를 만들어도 된다는 뜻이 아니다.

미국 FTC는 2024년 8월 14일 가짜 후기 금지 규칙을 확정했다. 생성형 AI로 만든 가짜 후기도 포함되며, 위반 건마다 최대 51,744달러를 물릴 수 있다.

근거 없는 법적 위협이나 공개적인 거짓 비난으로 나쁜 후기를 막는 것도 금지됐다. 국내에서는 네이버도 AI로 위조한 영수증 리뷰에 강한 차단과 제재를 예고했다.

결국 경쟁사의 거짓말에 똑같은 방식으로 대응하는 것이 답은 아니다. AI가 확인할 수 있는 사실을 더 많이, 더 일관되게 남기는 것이 안전한 대응이다.

| 규제·플랫폼 | 시점 | 내용 |
|---|---|---|
| 미국 FTC 가짜 후기 금지 규칙 | 2024.8.14 발표 | AI로 만든 가짜 후기 포함, 건당 최대 51,744달러 |
| 미국 FTC 같은 규칙 | 2024.8.14 발표 | 근거 없는 위협·거짓 비난으로 나쁜 후기 막기 금지 |
| 네이버 | 2026 | AI로 위조한 영수증 리뷰에 강한 차단·제재 예고 |

## 이번 연구를 어디까지 믿어야 하나요?

숫자를 그대로 가게 정보에 대입해서는 안 된다. 첫째, 실험은 모두 객관식이었다. 정답이 정해진 문제에서 답을 바꾸는지를 본 것이어서 영업시간이나 맛 평가처럼 정답이 흐린 정보에서는 결과가 달라질 수 있다.

둘째, 메시지는 한 통이었고 AI에게 바로 전달됐다. 실제 AI 검색에서는 여러 검색 결과 가운데 하나로 정보가 섞여 들어갈 수 있다. 셋째, 연습에 사용한 모델은 30억~140억 파라미터 크기의 오픈 모델이었고, 상용 모델은 GPT-4o-mini와 GPT-5-mini 두 개였다.

넷째, 문제는 영어였고 한국어 결과는 없다. 연구진도 이 실험을 실제 공격법이라기보다 AI의 약한 부분을 찾는 점검 도구로 내놓았다.

그래서 이 연구의 숫자는 「가게 정보가 반드시 이렇게 바뀐다」는 예측이 아니다. 대신 출처를 붙인 그럴듯한 반박이 AI의 판단을 흔들 수 있다는 점을 보여 주는 경고로 보는 것이 맞다.

요점 ① 설득을 연습한 AI의 한 통 메시지에 정답률이 66.2%에서 1.8%로 떨어졌고 설득 성공률은 93.7%까지 올랐다. ② 처음 보는 오픈 모델은 Qwen-14B 82.5%, Llama-3.1-8B 79.0%가 넘어갔지만 GPT-5-mini는 3%였다. ③ 가장 잘 먹힌 수법은 지어낸 출처와 거짓 권위였고, 다른 실험에서도 맞던 답이 틀린 답으로 바뀐 비율이 14.66%였다. ④ 가게는 엔진 4곳에 질문 5개를 한 달에 한 번 확인하고, 거짓 맞불 대신 확인 가능한 근거와 정정 기록을 남겨야 한다.

## 같이 읽을 글

 

- 같은 글을 여러 곳에 올리면 AI가 더 믿을까?

- AI는 우리 홈페이지의 경력도 믿을까?

- AI는 우리 가게 글을 정말 다 읽을까?

- 우리 가게 홈페이지 글은 뭘 다르게 써야 할까?
 

## 자료 출처

 

- Learning to Persuade Exposes How Easily LLMs Abandon Correct Beliefs(일리노이대 어바나-샴페인·arXiv 2608.11624·2026.8, 훈련 2,886개·문제집 5개·5회 반복)

- 같은 논문 본문 HTML(정답률 66.2→1.8%, 모델별 성공률)

- 같은 연구 코드·데이터(일리노이대·GitHub)

- SycEval: Evaluating LLM Sycophancy(스탠퍼드대·arXiv 2502.08177·2025.2, 개정 2025.9, GPT-4o·Claude Sonnet·Gemini 1.5 Pro)

- "Check My Work?": Measuring Sycophancy in a Simulated Educational Context(arXiv 2506.10297·2025.6, GPT-4o·GPT-4.1 계열 5개)

- FTC Finalizes Rule Prohibiting Fake Reviews(Davis Wright Tremaine 정리·2024.8, 미국 FTC 규칙)

- 네이버, AI 가짜 영수증 리뷰 제재 강화(애드롭 마케팅 동향·2026)