AI가 참고 글을 한꺼번에 많이 읽으면, 우리 글은 덜 쓰일까?

AI가 답을 만들 때 참고 글을 많이 보여준다고 해서 우리 가게 글이 더 잘 쓰이는 것은 아니다. 북경대·텐센트 연구에서는 참고 글이 1% 늘 때 글 하나가 실제 답에 쓰일 확률이 약 0.68% 줄었다. 같은 24개 글도 2개씩 나눠 읽히자 정답 조각을 찾은 비율이 14.4%포인트 높아졌다.

AI는 글을 많이 읽으면 더 정확해질까?

이번 실험은 AI가 질문을 받고 참고 글을 모은 뒤, 그중 어떤 글을 실제 답에 쓰는지 살펴본 것이다. 공개 모델 3종을 대상으로 모호한 사실 질문, 목록형 질문, 설명형 질문, 요리법 변형 등 4종의 질문을 비교했다.

질문마다 검색 결과 상위 30개 글을 모았고, 한 번에 2개·5개·12개·24개를 읽혔다. 답을 한 번 쓰는 경우와 5번, 12번 나눠 쓰는 경우도 비교했다.

결과는 단순했다. 한 번에 읽는 글이 많아질수록 개별 글이 답에 쓰이는 몫은 줄었다. 글끼리 내용이 얼마나 겹치는지에 따라 차이는 있었지만, 모든 조건에서 이 효과는 마이너스였다.

24개를 한꺼번에 보여주면 어떻게 될까?

같은 24개 글을 AI에게 보여주는 두 방식을 비교하면 차이가 더 분명하다. 24개를 한꺼번에 읽히고 한 번 답하게 했을 때 정답 조각을 찾은 비율은 0.253이었다.

반면 2개씩 나눠 12번 답하게 했을 때는 0.397이었다. 두 방식의 차이는 0.144, 즉 14.4%포인트였다.

다만 글을 나눠 읽히는 방식에도 문제가 있었다. AI는 첫 답에서 사용한 글을 다음 답에서도 계속 붙잡는 경향을 보였다. 그래서 연구진은 앞에서 이미 사용한 글을 확인하고, 아직 쓰지 않은 글을 다음 차례에 고르는 방식도 따로 실험했다.

글을 무조건 많이 넣는다고 좋아지는 것도 아니었다. 긴 입력을 처리할 수 있는 모델에 48개 글을 넣었을 때, 모호한 사실 질문에서는 24개를 넣었을 때보다 오히려 결과가 0.033 나빠졌다.

왜 검색 순위가 낮은 글은 덜 쓰일까?

글을 많이 넣으려면 검색 순위 아래쪽 글까지 가져와야 한다. 그런데 이번 실험에서는 정답이 들어 있는 글이 검색 결과 위쪽에 더 많이 몰려 있었다.

모호한 사실 질문에서는 1~5위 글에 정답이 들어 있을 확률이 0.469였다. 11~30위 글은 0.211이었다. 상위 30개 글에 담긴 서로 다른 정답 가운데 71.3%는 상위 5개에서 처음 나왔다.

그래서 이미 좋은 글이 위쪽에 모여 있는 질문에서는 아래쪽 글을 계속 추가하는 것이 도움이 되지 않을 수 있다. 반대로 요리법 변형처럼 정답이 여러 글에 고르게 퍼진 질문에서는 순위가 내려가도 정답이 들어 있을 확률이 크게 줄지 않았다.

실제로 AI가 사용한 글의 수도 따로 보면 차이가 있다. 상위 5개 글을 그대로 넣었을 때는 5개 가운데 평균 2.89개가 실제 답에 쓰였다. 순위 아래로 계속 글을 추가하는 방식은 25개를 보여줘도 9.37개만 쓰였다.

주제만 맞는 글이면 충분할까?

여기서 사장님 글을 어떻게 써야 하는지가 중요해진다. 이번 실험에서는 주제는 같지만 정답은 담고 있지 않은 글을 일부러 섞어 놓고, 답이 있는 글을 골라낼 수 있는지도 확인했다.

단어가 얼마나 겹치는지 보는 BM25 점수와 질문과 글의 뜻이 얼마나 비슷한지를 보는 점수는 답이 있는 글을 잘 가려내지 못했다. 각각 0.444와 0.484로, 우연히 맞히는 수준인 0.5에 가까웠다.

반면 그 글을 빼고 답을 다시 만들어 봤을 때 답이 달라지는지를 보는 방식의 점수는 0.876이었다. 주제가 비슷한 글이라는 사실보다 실제 답을 담고 있어 빼면 답이 달라지는 글이 더 중요했다.

가게 글도 이 차이를 생각할 필요가 있다(예상). 고객이 궁금해하는 질문을 제목이나 본문에 반복해서 넣는 것만으로는 충분하지 않다. 가격, 예약, 위치처럼 고객이 실제로 확인하려는 내용을 글 안에서 분명하게 찾을 수 있어야 한다.

퍼플렉시티처럼 인용을 많이 다는 AI에서는 더 불리할까?

AI 서비스마다 답 하나에 붙이는 출처 수는 다르다. 함샤우트 조사에서는 답 하나당 인용 수가 퍼플렉시티 19.8개, 제미나이 7.8개, 챗GPT 4.0개였다.

이번 실험의 희석 결과를 그대로 적용할 수 있다는 뜻은 아니다. 다만 참고 글이 많아질수록 개별 글이 실제 답에 쓰이는 몫이 줄어드는 현상은 확인됐기 때문에, 출처를 많이 보여주는 서비스에서는 한 글이 목록에 들어가는 것과 실제 답에 반영되는 것을 구분해서 볼 필요가 있다(예상).

사장님 입장에서는 더 많은 정보를 한 페이지에 몰아넣는 것보다, 고객이 물을 만한 질문에 답이 분명하게 들어 있는 글을 만드는 편이 실험 결과와 더 맞는다. 주제만 맞는 글보다 답이 들어 있는 글이 실제로 쓰일 가능성을 높이는 데 의미가 있기 때문이다.

또 한국 이용자의 42.3%가 AI에게 이어서 질문한다고 조사됐다. 질문이 이어지면 AI가 새 글을 다시 참고할 수 있으므로, 가격이나 예약, 위치처럼 이어서 물을 만한 내용도 각각 찾아볼 수 있게 만드는 것이 중요하다.

결국 핵심은 글의 양이 아니다. AI가 참고 글을 많이 모으는 상황에서도, 그 글을 빼면 답이 달라질 만큼 분명한 정보를 담고 있는지가 중요하다.

같이 읽을 글

• AI 추천 후보에 못 들면 아무리 좋은 상품도 소용없을까?
• 우리 글은 왜 AI 답변에 안 들어갈까?
• 홈페이지는 다음 질문까지 답해야 하나?

자료 출처

• The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search(Liu·Wang·Liang·Ye, 북경대·텐센트, arXiv 2026년 8월 제출, 공개 모델 3종·질문 묶음 4종·묶음당 100문항)
• 같은 연구의 코드·자료(깃허브 ascp)
• Lost in the Middle: How Language Models Use Long Contexts(Liu 등, 스탠퍼드, 2023 — 긴 입력 속 위치에 따른 활용 차이)
• 함샤우트 글로벌 AI연구소 2026년 8월 보고(30개 산업·1,616질문) — 답당 인용 19.8·7.8·4.0(테크42 보도)
• AI 검색 트렌드 리포트 2026 하반기(오픈서베이, 2026.7 — 꼬리 질문 42.3%)
• Evaluating Verifiability in Generative Search Engines(Liu·Zhang·Liang, 스탠퍼드, 2023)