AI는 글이 적은 동네 정보를 어떻게 답할까?

AI는 다룬 글이 적은 주제일수록 더 자주 틀렸다. 연구에서 글이 많은 주제의 오답 비율은 20% 미만이었지만, 글이 적은 주제에서는 50% 가까이 됐다. 글이 적은 곳에서는 상위 5개 사이트가 전체 글의 4분의 3 가까이를 차지했다.

우리 동네처럼 글이 적은 곳은 AI가 어떻게 답할까

노르웨이 오슬로대 연구진은 세계 분쟁 28곳을 대상으로 이 문제를 살폈다. 2026년 5~6월에 웹 검색을 켠 AI 5종에 사망자 수, 책임 주체, 피란민 수처럼 기록으로 확인할 수 있는 질문 13개를 물었다.

각 질문은 세 번씩 반복했고, 모두 5,460개의 답을 받았다. 답은 유엔 기구 등 두 곳 이상의 독립 기록으로 만든 범위와 비교해 다섯 단계로 평가했다.

연구 결과는 단순했다. 글이 많은 주제보다 글이 적은 주제에서 AI의 답 점수가 낮았다.

글이 가장 많은 3분의 1 주제의 평균 점수는 +1.02였다. 글이 가장 적은 3분의 1은 약 +0.7이었다.

글이 적으면 왜 더 틀릴까

연구진은 글의 양뿐 아니라 글이 얼마나 여러 사이트에 퍼져 있는지도 봤다. 같은 콩고라도 동부는 한 해 약 9,000건의 기사가 약 900개 매체에서 나왔지만, 서부는 약 700건이 127개 매체에서 나왔다.

AI 답 점수도 동부가 약 0.7점 높았다. 글이 많고 여러 매체가 다루는 주제에서는 AI가 참고할 정보가 더 넓게 퍼져 있었던 셈이다.

반대로 글이 적은 주제에서는 일부 사이트가 차지하는 비중이 커졌다. 우크라이나처럼 많이 다뤄진 주제는 상위 5개 사이트의 비중이 약 6%였지만, 콩고 서부처럼 글이 적은 주제는 상위 5개 사이트가 전체 글의 4분의 3 가까이를 차지했다.

틀릴 때 AI가 「확인할 수 없다」고 말할까

여기서 더 눈여겨볼 부분이 있다. AI가 틀린 답을 하면서도 거의 답을 거절하지 않았다는 점이다.

5,460개 답 가운데 답을 거절한 것은 2개뿐이었다. 「확인할 수 없다」고 말한 답도 5.0%에 그쳤다.

글이 적은 주제라고 해서 답이 특별히 짧거나 인용이 적은 것도 아니었다. 많이 다뤄진 곳과 잊힌 곳의 답 하나당 인용 수는 각각 8.02개와 7.88개였다.

확신에 찬 말투의 비율은 65.3%에서 51.4%로 낮아졌지만, 글이 적은 주제에서도 AI는 상당수 답을 단정적으로 말했다.

공식 기록이 있는데도 틀릴 수 있을까

연구진이 특히 주목한 부분은 이것이다. 틀린 문제가 반드시 어려운 질문은 아니었다.

공식 기록으로 확인할 수 있는 질문에서도 점수가 크게 떨어졌다. 반면 아무도 정답을 모르는 질문에서는 글의 양과 상관없이 점수가 비슷했다.

즉 기록 자체가 없는 것이 문제라기보다, 기록은 있는데 주변에 이를 설명하는 글이 적은 경우가 문제였다. AI가 공식 기록까지 찾아가지 못하면 주변에 남아 있는 몇몇 글에 더 크게 기대게 된다.

질문에 잘못된 전제를 넣었을 때도 AI가 이를 그대로 받아들이는 경우가 있었다. 유도 질문 2,081개 가운데 38%가 질문 속 전제를 받아들였다.

작은 가게도 이 문제와 관계가 있을까

동네 가게나 작은 업종은 분쟁 연구에서 말하는 글이 얇은 주제와 비슷한 상황이 될 수 있다(예상). 다룬 글이 몇 곳뿐이면 AI가 참고할 정보도 그만큼 제한되기 때문이다.

이 연구 결과를 가게 정보에 그대로 적용할 수는 없다. 분쟁 정보를 대상으로 한 연구이기 때문에, 동네 가게에서도 같은 비율로 틀린다고 말할 수는 없다.

다만 한 가지 방향은 볼 수 있다. 글이 적은 주제에서는 한 곳의 정확한 정보가 AI가 참고할 자료에서 차지하는 비중이 커질 수 있다는 것이다.

그럼 가게는 무엇을 남겨둬야 할까

연구에서는 AI가 읽기 위한 기술적 흔적도 확인했다. 점검한 1,047개 사이트 가운데 16.9%인 177곳이 llms.txt 같은 파일을 두고 있었다.

특히 작은 지역 매체에서 llms.txt를 둔 비율은 48%였다. 국영·공영 방송은 26.5%, 인도주의 감시 기관은 9%였다.

하지만 llms.txt를 둔 것 자체가 답의 정확도를 예측하지는 못했다. 연구에서 그 영향은 −0.04였다.

오히려 누가 운영하는 사이트인지가 답에 영향을 줬다. 이해 당사자 사이트를 인용한 답은 점수가 0.17점 낮았다.

이 결과만 놓고 보면, 파일 하나를 추가하는 것보다 고객이 확인할 수 있는 공식 글에 정확한 정보를 적어 두는 일이 더 중요하다고 볼 수 있다.

검색을 켜면 실제 정보가 더 잘 잡힐까

다른 연구에서는 동네 서비스와 가까운 사례도 확인됐다. 동네 의사를 추천하는 상황에서 AI가 검색 없이 기억으로만 답했을 때 실제로 존재하는 의사를 추천한 비율은 4~11%였다.

검색을 켠 뒤에는 이 비율이 64~71%로 올라갔다. 정보가 웹에 있고 AI가 그 정보를 찾아볼 수 있느냐가 답에 영향을 줄 수 있다는 뜻이다.

다만 검색을 켠다고 모든 정보가 자동으로 정확해지는 것은 아니다. 검색 결과에 참고할 만한 글이 적거나, 특정 사이트에 정보가 몰려 있다면 그 사이트의 정보가 답에 더 크게 반영될 수 있다.

동네 가게가 AI에 정보를 잘 전달하려면 결국 기본적인 정보부터 정확하게 남겨야 한다. 누가 운영하는 곳인지, 어떤 서비스를 하는지처럼 고객이 확인할 수 있는 내용을 공식 글에 분명하게 적어 두는 것이 출발점이다.

같이 읽을 글

• llms.txt를 만들면 AI가 우리 홈페이지를 더 잘 읽을까?
• AI가 추천한 동네 의사는 실제로 있는 사람일까?
• AI가 틀렸다면 무엇이 틀린 걸까?

자료 출처

• How Artificial Intelligence LLM Engines Shape the Global Conflict Information Environment(Jason Miklian·오슬로대 세계지속가능성센터·2026년 7월 arXiv 제출·답 5,460개·사이트 1,047곳)
• 같은 연구 PDF 본문(표 1~4 수록)
• GDELT 프로젝트(주제별 기사 수·매체 수 집계 출처)
• Understanding AI Provider Recommendations in Local Service Markets(Ibrahim·Zaki, NYU 아부다비, 2026년 9월 arXiv, 미국 100대 대도시)
• Invisible to the Machine(Pitenin·2026년 8월 arXiv, 발리 식당·카페 4,776곳 AI 추천 조사)
• UCDP 웁살라 분쟁 데이터 프로그램 자료 내려받기(답 채점의 기준 기록)