AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까?

AI가 우리 가게 정보를 틀리게 말하는 문제를 줄이는 방법은 있다. 2026년 소상공인 문서를 활용한 RAG 실험에서는 근거 없이 지어내는 비율이 0.28~0.73%까지 낮아졌고, 미스트랄-7B의 정답률은 82.45%에서 91.52%로 올랐다. 핵심은 AI를 새로 가르치는 것보다 AI가 찾아볼 수 있는 우리 가게 자료를 미리 갖춰 두는 데 있다.

AI가 우리 가게 정보를 왜 틀리게 말할까?

AI는 질문을 받으면 답을 만들어낸다. 이때 참고할 만한 자료가 충분하지 않으면 실제 가게 정보와 다른 내용을 답할 수 있다.

그래서 연구에서는 AI가 답하기 전에 관련 문서를 검색하게 했다. 검색한 자료를 근거로 답하게 하는 방식을 RAG라고 한다. 이번 실험은 소상공인이 자주 접하는 사이버보안·사기 방지·규정 준수 관련 문서 31건을 모아 AI가 찾아볼 수 있는 지식베이스를 만들었다.

그 자료를 어떻게 넣었나?

연구팀은 문서를 일정한 크기로 나눴다. 텍스트는 700토큰 단위로 자르고, 서로 100토큰씩 겹치게 만들었다.

또 다른 방법으로는 문서 속 개념을 서로 연결한 지식그래프를 만들었다. 여기에는 트리플 2,563개, 노드 1,896개, 엣지 2,135개가 들어갔다. 이렇게 만든 두 가지 지식베이스를 라마·미스트랄·큐원 세 가지 AI 모델에 적용해 같은 질문에 답하게 했다.

문장을 나눠 넣는 방법이 더 정확했나?

이번 실험에서는 문장을 일정한 크기로 나눠 저장한 방식이 여러 지표에서 더 좋은 결과를 보였다. 질문과 찾아온 자료가 얼마나 잘 맞는지를 보는 맥락 관련성은 0.9435로, 지식그래프 방식의 0.23~0.24보다 높았다.

근거 없이 지어낸 답의 비율도 차이가 컸다. 문장 저장 방식은 0.28~0.73%였지만, 지식그래프 방식은 8.81~10.53%였다. 정답에 필요한 내용이 얼마나 들어 있는지를 보는 완결성도 문장 저장 방식이 0.45~0.46으로, 지식그래프 방식의 0.20~0.31보다 높았다.

다만 모든 지표에서 같은 결과가 나온 것은 아니다. 찾은 자료에 실제로 근거했는지를 보는 충실도에서는 모델에 따라 지식그래프 방식이 근소하게 앞서는 경우도 있었다.

자료를 찾아 답하게 하면 정답률도 달라질까?

실험에서는 AI 모델이 같은 질문에 답하더라도 참고 자료가 있느냐에 따라 정답률이 달라졌다. 미스트랄-7B는 자료 없이 답했을 때 82.45%였지만, 자료를 찾아 답하게 하자 91.52%가 됐다.

라마도 74.12%에서 89.05%로 올랐다. AI 모델 자체를 새로 학습시킨 것이 아니라, 답하기 전에 참고할 자료를 검색하게 한 결과다.

그럼 우리 가게 홈페이지도 AI가 찾아볼 자료가 될까?

원리는 가게 홈페이지에도 연결해서 생각할 수 있다. 고객이 AI에 가게의 영업시간이나 가격, 메뉴 같은 정보를 물으면 AI가 참고할 자료가 필요하기 때문이다.

실제 AI 인용 680만 건을 조사한 Yext★ 자료에서는 브랜드가 직접 관리하는 자료가 인용의 86%를 차지했다. 웹사이트가 44%, 지도·리스팅이 42%였고 커뮤니티 글은 2%였다.

이 결과는 홈페이지와 지도처럼 가게가 직접 관리하는 자료가 AI가 참고하는 정보에서 중요한 역할을 할 수 있다는 점을 보여준다. 반대로 자료를 제대로 갖춰 놓지 않으면 AI가 참고할 수 있는 정확한 정보도 부족해진다.

홈페이지에는 무엇부터 적어야 할까?

가장 먼저 고객이 실제로 물을 만한 정보를 분명하게 적어야 한다. 영업시간, 가격, 메뉴, 예약 방법처럼 답이 정해져 있는 정보를 홈페이지에 문장과 표로 갖춰 두는 방식이다.

중요한 것은 정보를 한곳에 길게 몰아넣지 않는 것이다. 질문 하나에 답 하나가 연결되도록 짧은 문단으로 나누고, 질문형 소제목을 붙이면 AI가 필요한 부분을 찾기 쉬워진다.

연구에서 문장을 700토큰 단위로 나눈 것처럼 홈페이지의 정보도 주제별로 나누는 것이 좋다. 영업시간과 가격, 예약 방법, 자주 묻는 내용을 하나의 긴 소개 글에 모두 넣기보다 각각 구분해 두는 방식이다.

페이지끼리 연결하는 것도 중요할까?

페이지 사이의 연결도 살펴볼 부분이다. 연구에서는 지식그래프의 노드와 엣지를 이용해 개념 사이의 관계를 연결했다.

가게 홈페이지에서는 소개 페이지, 메뉴 페이지, 후기 페이지처럼 서로 관련된 페이지가 링크로 연결돼 있는지를 확인할 수 있다. 각 페이지에 담긴 정보가 따로 떨어져 있지 않고 서로 연결돼 있으면 AI가 가게 정보를 파악할 때 참고할 자료가 더 분명해진다.

정보를 고친 뒤에는 최신 상태를 유지하는 것도 중요하다. 영업시간이나 가격처럼 바뀔 수 있는 정보는 현재 내용을 홈페이지에 반영해 두어야 한다.

결국 AI에게 먼저 보여줄 자료가 필요하다

이번 연구가 보여주는 핵심은 단순하다. AI가 가게 정보를 정확하게 답하게 하려면 AI가 찾아볼 수 있는 정확한 자료가 있어야 한다.

다만 이번 실험은 소상공인 규정 문서로 만든 지식베이스를 대상으로 했다. 따라서 동네 가게 홈페이지에 적용하면 오답 위험이 정확히 0.28~0.73%가 된다고 단정할 수는 없다.

그래도 자료를 찾아 답하게 했을 때 정답률이 올라갔다는 실험 결과와, 실제 AI 인용에서 브랜드가 직접 관리하는 자료가 86%를 차지했다는 조사 결과는 같은 방향을 보여준다. 가게 정보를 AI가 제대로 알기를 원한다면 먼저 AI가 찾아볼 수 있는 자료부터 제대로 갖춰야 한다.

같이 읽을 글

• 주제는 맞는데, 왜 AI는 우리 페이지를 인용하지 않을까?
• AI가 우리 홈페이지를 출처로 달면 믿어도 될까?
• AI가 우리 가게를 소개할 때, 사장님이 고칠 수 있는 정보는 얼마나 될까?
• 경쟁 업체가 거짓 글을 올리면 AI가 우리 가게를 잘못 추천할까?

자료 출처

• Enhancing LLMs with Context-Specific Knowledge for Mitigating Misinformation in SMEs(arXiv 초록, 2026.6 제출)
• 같은 연구 전체 본문(arXiv HTML)
• 같은 연구 원문(arXiv PDF)
• Yext★ Research: 86% of AI Citations Come from Brand-Managed Sources(2026.10, 인용 680만 건 조사)
• 정보통신정책연구원(KISDI) STAT Report
• "AI 확산, 노동·정보·창작 시장 흔든다"…KISDI, 4대 연구 공개(데일리안)