우리 가게 정보도 AI의 ‘진짜 출처’ 검사를 통과할 수 있을까?

AI가 출처를 붙였다고 해서 그 내용이 바로 진짜가 되는 것은 아니다. 논문에서는 이미 출처가 실제로 존재하는지, 인용한 내용과 맞는지까지 확인하는 기술이 97.1%의 탐지율을 보였다. 가게 정보도 앞으로는 주소와 영업시간이 공식 홈페이지나 등록 기관의 기록과 맞는지 확인받는 방향으로 갈 수 있다.

논문의 가짜 인용을 어떻게 잡아내나

최근 조사된 인용 검증 AI ‘CiteTracer’는 논문과 참고문헌을 받아 실제 출처를 확인한다. 논문 파일과 참고문헌 목록에서 인용 정보를 뽑은 뒤 캐시 조회, URL 접속, 학술 데이터베이스 연결, 웹 검색 순서로 근거를 찾는다.

출처가 없으면 단순히 가짜라고 끝내지 않는다. 출처는 실제로 있지만 인용한 내용과 세부 사항이 맞지 않는 경우도 따로 구분한다. 결과는 실제 출처와 내용이 모두 맞는 ‘Real’, 출처는 있지만 세부 내용이 어긋나는 ‘Potential’, 출처 자체가 존재하지 않는 ‘Hallucinated’로 나뉜다.

정확도 97.1%라면 얼마나 믿을 수 있나

통제된 실험에서는 가짜로 만든 인용 2,450건을 검사했다. 이때 정확도는 97.1%였다.

더 눈여겨볼 결과는 실제 논문에서 나온 사례다. 2026년 국제학회(ICLR) 게재·거절 논문에서 실제로 발견된 환각 인용 957건을 검사했을 때도 탐지율이 97.1%였다. 실험에서 만든 가짜 인용뿐 아니라 실제로 발생한 문제에서도 비슷한 결과가 나온 것이다.

이런 검증이 가게 정보에도 필요할까

아직 CiteTracer가 동네 가게의 주소나 영업시간을 검사하는 것은 아니다. 현재 검사 대상은 학술 논문의 인용이다.

하지만 AI가 정보를 만드는 과정에서 출처가 실제로 존재하는지 확인하는 문제는 가게 정보와도 연결된다. 주소가 실제로 존재하는지, 영업시간이 공식 홈페이지에 적힌 내용과 같은지, 출처가 현재도 접속되는지를 확인하는 방식이다.

이미 AI가 사용하는 웹 출처에는 검증이 필요한 문제가 나타나고 있다. 딥리서치형 AI 에이전트 10종이 만든 URL 53,090개를 조사한 결과, 3~13%는 인터넷 아카이브에도 기록이 없는 완전한 환각이었고 전체 5~18%는 접속되지 않았다.

다만 비즈니스 분야의 접속 불가율은 5.4%로 조사된 분야 중 가장 낮았다. 검증 도구를 적용하면 접속 불가 비율이 6~79배 줄어 1% 미만까지 낮아졌다.

AI마다 가게 정보를 다르게 말하는 이유는 뭘까

같은 질문을 해도 어떤 AI를 사용하느냐에 따라 출처의 신뢰성은 달라질 수 있다. 상업용 AI 10종이 만든 인용 69,557건을 조사한 결과, 모델별 인용 환각률은 11.4%에서 56.8%까지 차이가 났다.

반대로 출처를 대조하는 방법은 이미 상당한 성능을 보였다. 여러 AI가 같은 출처를 언급했는지를 확인하는 방법은 95.6%의 정확도를 보였고, 같은 답변에서 같은 출처가 두 번 이상 반복되는지를 보는 방법도 88.9%의 정확도를 기록했다.

학습 기반 분류기는 교차검증에서 AUC 0.876, 새로운 데이터에서는 0.834를 기록했다. 복잡한 검색을 하지 않고도 출처를 비교하는 것만으로 상당한 수준의 검증이 가능하다는 뜻이다.

그렇다면 우리 가게 정보는 지금 괜찮을까

현재 가게 정보가 AI의 출처 검사를 통과할 수 있는지를 직접 측정한 결과도 참고할 만하다. 9월 16일 챗GPT 답변에 실제로 잡힌 인용 31건 가운데 업체 자기 홈페이지가 출처인 경우는 10건이었다.

정부 기관 출처는 3건, 티스토리 출처는 1건이었다. 네이버 블로그와 브런치는 0건이었다.

앞으로 가게 정보까지 출처 검증이 확대된다면 기준은 단순할 수 있다. 주소와 영업시간 같은 정보가 실제 공식 출처에 적혀 있는지, 그 내용과 AI가 답한 내용이 일치하는지를 확인하는 방식이다.

공식 출처가 아니라 비공식 블로그 한 곳에만 정보가 남아 있다면 검증 결과가 달라질 여지도 있다. 중요한 정보일수록 실제 내용을 확인할 수 있는 문서가 남아 있어야 한다는 뜻이다.

AI의 답변에서 출처가 갖는 중요성은 다른 조사에서도 나타났다. 질문 1만 개와 8개 분야를 대상으로 한 벤치마크에서는 답변에 인용문을 넣었을 때 인용률이 43% 늘었고, 구체적인 통계 수치를 넣었을 때는 33%, 출처를 명확하게 밝혔을 때는 28% 늘었다.

지금 가게 정보에 남겨야 할 것은 무엇일까

앞으로 AI가 가게 정보를 답할 때 출처를 더 엄격하게 대조한다면, 고객이 확인할 수 있는 공식 정보가 중요해진다. 특히 주소와 영업시간처럼 실제 방문에 영향을 주는 정보는 어디에 기록되어 있는지가 중요하다.

이번 조사에서 확인된 핵심은 단순하다. AI가 출처를 붙였다는 이유만으로 그 정보가 진짜라고 볼 수는 없다. 반대로 실제 출처와 내용이 확인되는 정보는 검증 기술이 발전할수록 확인하기 쉬워진다.

지금부터 가게의 주요 정보를 문서로 남겨두는 것은 이런 변화에 대비하는 방법이 될 수 있다. AI가 언젠가 논문의 참고문헌처럼 가게 정보의 출처를 하나씩 대조하더라도, 실제 내용을 확인할 수 있는 근거가 있어야 한다.

같이 읽을 글

• AI가 우리 가게 전화번호도 지어낼까?
• AI는 가게가 지어낸 사실을 걸러낼 수 있을까?
• 고객이 AI에게 회사를 물으면 홈페이지가 답에 나올까?
• AI가 우리 가게 정보를 알아서 고쳐줄까?

자료 출처

• Source or It Didn't Happen: A Multi-Agent Framework for Citation Hallucination Detection(Li·Lin·Ma, 2026.5, arXiv, 합성 2,450건·실제 957건)
• Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents(Rao·Wong·Callison-Burch, arXiv, URL 53,090·168,021개)
• How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication(arXiv, 상업 LLM 10종·69,557건)
• GEO: Generative Engine Optimization(Aggarwal 외, 프린스턴·IIT델리, arXiv, 질문 1만 개·8개 분야)
• "AI 답변 근거 추가 더 쉽게"··· 앤트로픽, 출처 검증 기능 '사이테이션' 출시(CIO Korea)