AI가 붙인 출처, 어디까지 믿어도 될까?

AI 답 옆에 믿을 만한 출처가 붙었다고 해서 그 출처가 답을 만든 근거라는 보장은 없다. 홍콩시립대 연구에서는 출처 한 곳만 바꿨는데 오답 비율이 1%에서 68%로 뛰었다. 사장님이 봐야 할 것은 출처 이름 자체가 아니라 답의 내용이 실제 원문에 있는지다.

출처가 붙으면 왜 안심하게 될까?

AI가 답을 내놓으면서 출처를 함께 보여 주면 자연스럽게 그 출처에서 답을 가져왔다고 생각하게 된다. 특히 공공기관이나 언론처럼 이름이 알려진 곳이 붙으면 답을 다시 확인하지 않고 넘어가기 쉽다.

이번 연구는 바로 이 지점을 살폈다. 질문마다 출처 세 개를 주고, 그중 한 곳만 공격자가 쓴 글로 바꿨다. 나머지 두 출처에는 정답을 뒷받침하는 내용이 그대로 있었다.

공격자는 질문이나 AI 모델을 바꾸지 않았다. 검색 순위나 다른 출처도 건드리지 않고 자기 글 하나만 넣었다. 동네 사장님 입장에서는 홈페이지나 게시글 하나가 AI가 참고하는 자료에 들어가는 상황과 비슷하게 볼 수 있다.

공격자 글은 백과사전처럼 썼다. 글 안에는 명령문도 넣지 않았다. 그런데도 일부 모델에서는 그 글이 틀린 답을 만들도록 영향을 줬다.

틀린 답은 얼마나 쉽게 나왔을까?

실험에서 기준 모델의 공격 전 오답 비율은 1%였다. 그런데 틀린 사실을 담은 글 하나를 넣자 오답 비율이 48%가 됐고, 글을 다듬자 68%까지 올랐다.

모델별 결과도 차이가 컸다. Qwen3-4B는 오답 비율이 91%까지 올라갔다. 단순히 AI가 틀리는 문제만 보면 모델마다 취약한 정도가 크게 달랐다.

더 눈여겨볼 부분은 출처 표시다. 틀린 답이 나왔는데도 그 내용이 없는 믿을 만한 출처를 함께 가리킨 경우가 있었다. 모델에 따라 이 비율은 0%에서 84%까지 달랐다.

출처를 잘 붙이는 모델이라고 해서 항상 더 안전한 것도 아니었다. 오히려 평소 출처 표시를 잘하는 모델에서 틀린 답과 믿을 만한 출처가 함께 나오는 경우가 더 많았다.

AI는 왜 엉뚱한 출처를 가리킬까?

실험에서는 출처의 내용만큼 출처가 놓인 자리와 이름표도 영향을 줬다. 공격이 없을 때 기준 모델은 첫 번째 출처를 6%, 두 번째 출처를 25%, 세 번째 출처를 20% 인용했다.

목표 출처를 첫 번째 자리에서 두 번째 자리로 옮기자 틀린 출처 표시가 3~4배 늘었다. 출처 번호 이름표를 바꾸었을 때도 AI가 내용보다 이름표를 따라가는 현상이 나타났다.

공격자 글 안에 「[2번 출처]」라고 한 줄을 적어 두자 그 번호를 그대로 답에 옮기는 경우도 있었다. 즉 AI가 출처의 내용을 꼼꼼히 확인해 번호를 고르는 것만은 아니었다.

그래서 출처 번호만 보고 원문까지 확인했다고 생각하면 안 된다. 출처가 붙었다는 사실과 그 출처가 실제 답의 근거라는 사실은 구분해서 봐야 한다.

출처를 눌러 보면 정말 확인할 수 있을까?

연구자는 출처를 하나씩 빼고 답을 다시 만들어 보면서 어느 자료가 답에 실제 영향을 줬는지 확인했다. 오답이 난 경우에는 측정한 모든 사례에서 공격자 글이 가장 큰 영향을 준 출처였다.

겉으로 틀린 출처로 분류된 13건을 자세히 보니 실제로 공격자 글이 답을 만든 경우는 5건이었다. 연구자는 이 5건을 더 정직한 수치로 봤다.

공격자 글은 검색에서도 잘 노출됐다. 약 500개 문서에 넣어 보니 AI가 만든 공격 글은 97%가 상위 5개 안에 들어갔고, 44%는 1위였다. 단순한 한 문장짜리 글보다 검색에 잘 걸렸다.

이런 문제를 막을 방법은 없을까?

글이 부자연스러운지를 검사하는 방법은 AI가 만든 공격 글을 잘 가려내지 못했다. 출처가 문장을 뒷받침하는지도 검사했지만 멀쩡한 답의 59%까지 잘못 걸렀다.

연구자가 제시한 방법은 출처를 하나씩 빼고 답을 다시 만드는 방식이다. 이 검사를 하자 틀린 출처 표시가 줄었고, 걸러 낸 답 가운데 일부는 정답을 되찾았다.

하지만 이것도 완벽하지 않았다. 방어 방법을 알고 있는 공격자가 글을 고치자 틀린 출처 표시가 13%에서 21%로 늘었다.

따라서 출처 검사는 도움이 될 수 있지만, 출처 이름 하나만으로 답의 신뢰성을 확정하는 방법은 아니다.

실제 AI에서도 출처 문제가 있었을까?

이번 실험은 작은 공개 모델과 공개 문제집으로 진행됐다. 따라서 챗GPT나 제미나이 같은 실제 서비스에서 똑같은 비율이 나온다는 뜻은 아니다.

다만 실제 AI 서비스에서도 출처 문제는 확인됐다. 유럽방송연맹과 BBC가 18개 나라, 14개 언어의 공영방송 22곳을 대상으로 AI 뉴스 답을 조사한 결과, 45%에 중대한 문제가 있었다. 가장 큰 원인은 출처 문제로 31%를 차지했다.

이 조사에서는 언론사가 하지 않은 틀린 주장을 그 언론사에서 나온 것처럼 돌리는 사례도 문제로 지적됐다. 제미나이에서는 중대한 출처 문제가 72%의 답에서 나타났다.

다만 이 수치는 이번 홍콩시립대 실험의 결과가 아니다. 조사 대상과 방식이 다르므로 각각 따로 봐야 한다.

사장님은 출처를 어떻게 확인하면 될까?

가장 먼저 볼 것은 출처의 이름이 아니다. AI가 우리 홈페이지를 출처로 가리켰다면, 실제 홈페이지에 그 내용이 있는지를 확인해야 한다.

특히 가격, 영업시간, 자격처럼 고객이 바로 판단에 사용하는 내용은 원문과 대조하는 것이 중요하다. 홈페이지에 정확한 원본 정보가 있어야 AI가 틀린 내용을 만들었을 때 확인할 기준도 생긴다.

경쟁사와의 비교나 가격처럼 숫자가 들어간 답도 마찬가지다. 출처를 눌러 원문 숫자를 직접 확인하는 편이 안전하다.

한 번 확인했다고 끝낼 필요도 없다. 같은 질문을 여러 AI에서 확인하면 모델마다 출처를 붙이는 방식이 다를 수 있다는 점도 확인할 수 있다.

결국 출처 표시는 유용한 확인 단서다. 하지만 출처 이름이 유명하거나 믿을 만하다는 이유만으로 답 전체를 믿어서는 안 된다. 출처가 가리키는 원문에 실제 답의 근거가 있는지를 확인하는 것이 핵심이다.

같이 읽을 글

• AI가 우리 홈페이지를 출처로 달면 믿어도 될까?
• 게시판에 글 하나 쓰면 AI의 식당 추천도 바뀔까?
• 검색하는 AI는 가짜 글에 얼마나 속을까?
• AI가 틀렸다면 무엇이 틀린 걸까?

자료 출처

• CiteShade: Citation Laundering in Multi-Source Retrieval-Augmented Generation and Its Counterfactual Defense(Guo·홍콩시립대·2026년 9월 arXiv 제출·AI 모델 6개·문제집 2개·칸마다 100문항)
• 같은 논문 전체 본문(HTML·모델별 결과 표·방어 실험 포함)
• PoisonedRAG: Knowledge Corruption Attacks to Retrieval-Augmented Generation(Zou 외·2024년 2월·가짜 글로 AI 답 바꾸기)
• Machine Against the RAG: Jamming Retrieval-Augmented Generation with Blocker Documents(Shafran 외·2024년 6월·문서 하나로 답 막기)
• Evaluating Verifiability in Generative Search Engines(Liu·Zhang·Liang·스탠퍼드대·2023년 4월·AI 검색 인용 검증)
• News Integrity in AI Assistants 보고서 원문(유럽방송연맹·BBC·2025년 10월·공영방송 22곳·중대한 문제 45%·출처 문제 31%)
• Correctness is not Faithfulness in RAG Attributions(Wallat 외·2024년 12월·인용이 맞아도 실제 근거는 아닐 수 있음)