# AI가 우리 가게를 인용했다는데, 진짜일까?

_인용 검증 도구가 있어도 실제 사례에서는 성능이 크게 흔들린다_

> CiteAudit는 만들어진 표본에서 정확도 96.6%를 기록했지만 실제 사례에서는 정밀도가 74.9%로 떨어졌다. AI가 가게를 인용했는지만 보고 진짜라고 안심하기 어려운 이유다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-citation-checker-accuracy-gap
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-30

AI가 붙인 출처가 진짜인지 가짜인지 도구 하나로 딱 가려내기는 아직 어렵다. CiteAudit는 만들어진 표본에서 정확도 96.6%를 기록했지만 실제 사례에서는 정밀도가 74.9%로 떨어졌다. GPT-5.2도 만들어진 표본에서 F1 96%를 기록했지만 실제 사례에서는 33%까지 내려갔다.

실험실에서 잘 맞히던 인용 검증 도구도 실제 세상의 복잡한 인용 앞에서는 성능이 크게 흔들린다.

## “96.6%면 거의 다 맞히는 것 아닌가?”

그렇게 생각하기 쉽다. 그런데 여기서 중요한 것은 어디에서 측정한 숫자인지다.

CiteAudit 연구팀은 먼저 컴퓨터가 만들어낸 표본으로 인용 검증 도구의 성능을 확인했다. 이 표본에서는 정확도 96.6%, F1 0.959, 정밀도 94.7%, 재현율 97.1%를 기록했다.

| 사례 | 수치 | 시점·표본 |
|---|---|---|
| NeurIPS 2025 논문 심사 실험 | 조작된 인용 100건 투입, 심사위원 대부분 미발견 | 2026 사후 분석 |
| CiteAudit 벤치마크 구축 | 실제 인용 6,475건 + 가짜 인용 2,967건 수집 | 2026 |
| 그중 실제 사례 표본 | 실제 인용 2,889건 + 가짜 인용 467건 | 2026 |
| CiteTracer 실제 데이터 | 957건(ICLR 2026 807건 + 익명 학회 150건) | 2026 |

문제는 실제 사람이 쓴 논문에서 가져온 인용을 섞었을 때 나타났다. 실제 사례 표본에서는 정확도가 94.9%로 크게 달라지지 않았지만, 정밀도는 74.9%로 떨어졌다.

정밀도는 도구가 “가짜”라고 판정한 것 가운데 실제로 가짜인 비율을 보는 지표다. 이 숫자가 낮아졌다는 것은 가짜라고 판정했지만 사실은 진짜인 인용도 적지 않았다는 뜻이다.

| 구분 | 정확도 | F1 | 정밀도 | 재현율 |
|---|---|---|---|---|
| 만들어진 표본(생성 벤치마크) | 96.6% | 0.959 | 94.7% | 97.1% |
| 실제 사례 표본 | 94.9% | 0.838 | 74.9% | 95.1% |

그래서 “정확도가 96.6%니까 도구만 돌리면 된다”라고 받아들이면 곤란하다. 만들어진 표본에서는 잘 작동하던 방법이 실제 사례에서는 다른 결과를 낼 수 있다는 것이 이 실험의 핵심이다.

## “그럼 AI 모델에게 직접 물어보면 되지 않나?”

모델에게 “이 인용이 진짜인지 가짜인지 판단하라”고 시키는 방법도 같은 문제를 보여준다.

같은 연구에서 만들어진 표본을 대상으로 여러 모델을 비교했다. 제미나이 3 프로는 F1 0.769, GPTZero는 0.734, 클로드 소넷 4.5는 0.594를 기록했다.

| 모델·도구 | 만들어진 표본 F1 | 실제 사례 F1 |
|---|---|---|
| GPT-5.2 | 96% | 33% |
| 제미나이 3 프로 | 0.769 | — |
| GPTZero | 0.734 | — |
| 클로드 소넷 4.5 | 0.594 | — |
| 전용 도구(CiteTracer) 애매한 인용 판별 | 95.8 | — |
| GPT-5.5 애매한 인용 판별 | 43.8 | — |

특히 눈에 띄는 것은 GPT-5.2다. 만들어진 표본에서는 F1 96%였지만 실제 사례에서는 33%까지 떨어졌다.

다른 연구인 CiteTracer에서도 비슷한 차이가 확인됐다. 애매한 인용을 판별하는 성능에서 전용 도구는 F1 95.8을 기록했지만 GPT-5.5는 43.8이었다.

여기서 중요한 점은 특정 AI가 좋고 나쁘다는 결론이 아니다. 인용이 실제 환경에 놓이면, 같은 판단 작업도 훨씬 어려워질 수 있다는 점이다.

## “왜 실제 인용은 이렇게 어려운가?”

실제 참고문헌은 표기가 제각각이다. 검색을 통해 출처를 확인하는 방식도 이런 차이에 영향을 받을 수 있다.

연구팀은 실제 참고문헌의 표기 방식이 지저분하고 일정하지 않다는 점을 이유로 들었다. 모델이 지시를 받아도 외부 검색을 안정적으로 실행하지 못하거나, 검색 근거의 출처가 불명확해질 수 있다는 점도 지적했다.

CiteTracer 역시 한계가 있다. 컴퓨터공학과 인공지능 논문에 맞춰 만들어졌기 때문에 다른 분야나 비표준 형식, 색인이 부족한 자료에서는 성능이 떨어질 수 있다고 밝혔다.

동네 가게의 홈페이지와 AI 답변은 논문보다 더 다양한 형태의 정보를 다룬다. 주소, 영업시간, 가격 같은 정보가 홈페이지와 블로그, SNS 등 여러 곳에 흩어져 있을 수 있다.

실제 AI 답변의 인용 구성도 한 가지 형태가 아니다. 퍼플렉시티는 답변 하나에 평균 19.8개, 제미나이는 7.8개, 챗GPT는 4.0개의 인용을 붙였다는 조사 결과가 있다.

인용 출처도 SNS 34.6%, 언론 19.7%, 업체 자사 페이지 18.8%로 나뉘었다. 외부 블로그 인용 비중이 40.6%라는 조사도 있다.

| 조사 | 수치 | 시점·표본 |
|---|---|---|
| 답당 인용 수(엔진별) | 퍼플렉시티 19.8·제미나이 7.8·챗GPT 4.0 | 2026.8 |
| 인용 출처 구성 | SNS 34.6%·언론 19.7%·자사 18.8% | 2026.8 |
| 외부 블로그 인용 비중 | 40.6% | — |
| 두 엔진 동시 인용 비율 | 6.1%(한 엔진만 79.6%) | 2,275만 건 분석 |
| 우리 실측 챗GPT 인용 31건 구성 | 자기 홈페이지 10·정부 3·티스토리 1·네이버 블로그 0·브런치 0 | 2026.9.16 |

AI 엔진끼리 같은 출처를 선택하는 경우도 많지 않다. 두 엔진이 동시에 인용한 비율은 6.1%였고, 2,275만 건을 분석한 조사에서는 79.6%가 한 엔진에서만 인용됐다.

이런 환경에서는 특정 도구 하나가 “이 출처는 진짜고 저 출처는 가짜다”라고 완벽하게 정리해주기를 기대하기 어렵다.

## “그럼 가게 홈페이지는 어떻게 해야 하나?”

지금 할 수 있는 일은 검증 도구가 완벽해질 때까지 기다리는 것이 아니다. 사람이든 AI든 확인할 수 있는 원본 정보를 명확하게 정리해 두는 것이다.

주소, 영업시간, 가격처럼 자주 확인하는 정보를 홈페이지 한 곳에 분명한 형식으로 적어 두면 대조할 기준이 하나로 줄어든다. 정보가 여러 곳에 흩어져 있거나 서로 다르게 적혀 있으면 AI가 어느 정보를 참고했는지 확인하는 일도 그만큼 복잡해진다.

중요한 것은 “AI가 우리 가게를 인용했는가”만 보는 것이 아니다. AI가 참고할 수 있는 홈페이지 정보가 실제 가게의 정보와 맞는지도 함께 살펴야 한다.

AI가 출처를 붙였다는 이유만으로 그 내용이 자동으로 정확해지는 것은 아니다. 반대로 검증 도구가 있다고 해서 그 결과를 그대로 믿을 수도 없다.

결국 지금 필요한 것은 AI가 틀리지 않기를 기다리는 것이 아니라, AI가 확인할 원본을 사람이 먼저 정리해 두는 것이다. 인용 검증 기술이 발전하더라도 비교할 기준이 명확해야 실제 정보와 대조할 수 있다.

요점 ① CiteAudit는 만들어진 표본에서 정확도 96.6%였지만 실제 사례 정밀도는 74.9%였다. ② GPT-5.2는 만들어진 표본 F1 96%에서 실제 사례 F1 33%로 떨어졌다. ③ AI 답변의 인용 출처는 SNS 34.6%·언론 19.7%·자사 18.8%로 나뉘었다. ④ 두 엔진이 동시에 인용한 비율은 6.1%였고 한 엔진에서만 인용된 비율은 79.6%였다.

## 같이 읽을 글

 

- AI는 가게가 지어낸 사실을 걸러낼 수 있을까?

- AI가 우리 가게 전화번호도 지어낼까?

- 챗GPT에 우리 가게 홈페이지가 인용될 수 있을까?

- AI가 우리 가게 정보를 알아서 고쳐줄까?
 

## 자료 출처

 

- CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era (Shi 외, arXiv 2602.23452, 2026)

- Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection (Li·Lin·Ma, arXiv 2605.08583, 2026)

- Compound Deception in Elite Peer Review: A Failure Mode Taxonomy of 100 Fabricated Citations at NeurIPS 2025 (arXiv 2602.05930, 2026)