# 우리 글은 AI에게 어떻게 골라질까?

_좋은 글 하나보다 여러 글 사이에서 빠지면 아쉬운 글이 중요해진다_

> 같은 문서 30개를 묶음으로 고르자 딥리서치 평균 점수가 54.0에서 60.1로 올랐다. 관련성만 높은 글보다 빈 곳을 채우는 글이 중요해질 수 있다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-picks-5-of-30-as-set
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-01

AI가 답을 만들 때 우리 홈페이지 글 하나만 보는 것은 아니다. 여러 문서를 함께 놓고 필요한 내용을 채우는 방식이 중요해지고 있다. 실제 실험에서는 같은 문서 30개를 묶음 기준으로 골랐을 때 딥리서치 평균 점수가 54.0에서 60.1로 올랐다.

AI에게 필요한 글은 혼자 가장 좋은 글보다 여러 글 사이에서 빠지면 아쉬운 글일 수 있다.

## AI는 검색된 글을 한 편씩 고르지 않나?

기존 검색 시스템은 질문과 문서 한 편이 얼마나 잘 맞는지를 점수로 매겨 상위 문서를 고르는 방식이 중심이었다. 그런데 답을 만들 때는 문서 하나의 관련성만 높다고 충분하지 않다.

연구진은 문서들을 묶어서 봤을 때 질문에 필요한 여러 측면이 빠짐없이 들어 있는지, 같은 내용이 반복되지 않는지, 문서끼리 핵심 사실이 어긋나지 않는지를 함께 살폈다. 문서 자체에서는 출처의 권위와 최신성을 따졌다.

| 단위 | 기준 | 무엇을 보나 |
|---|---|---|
| 묶음 | 관련성(빈칸 없음) | 질문에 필요한 여러 측면을 묶음이 다 덮는가 |
| 묶음 | 간결함 | 반복·중복·무관한 내용이 적은가 |
| 묶음 | 일관성 | 문서끼리 핵심 사실·결론이 서로 어긋나지 않는가 |
| 문서 | 출처 권위 | 의료·법·정책처럼 위험이 큰 분야에서 믿을 만한 출처인가 |
| 문서 | 최신성 | 기간 조건이나 최신 정보가 필요할 때 이를 채우는가 |

이 차이는 가게 홈페이지 글을 만들 때도 생각해 볼 만하다. 다른 사이트에 이미 많이 있는 일반적인 설명을 한 편 더 만드는 것보다, 기존 글들이 다루지 않은 조건이나 숫자를 정확하게 설명하는 편이 묶음 안에서 역할이 생길 수 있다.

## 관련성 높은 글이 여러 개면 무엇이 달라지나?

연구에서 사용한 사례를 보면, 우울증이 의심되는 사람이 도움을 구했을 때 검색된 문서는 모두 질문과 관련이 있었다. 하지만 문서를 한꺼번에 놓고 보니 자기 조절이라는 치료 갈래를 다룬 문서가 없었고, 심리치료를 설명하는 문서 두 개는 내용이 겹쳤다.

출처를 믿기 어려운 문서도 하나 있었다. 각각의 문서가 관련 있다는 사실만 보면 놓치기 쉬운 문제다.

그래서 연구진은 질문에 필요한 내용을 여러 문서가 얼마나 골고루 덮는지와 중복이 얼마나 적은지를 묶음 단위에서 판단했다. 문서 하나에 대해서는 질문과 관련이 있을 때 출처의 권위와 최신성을 추가로 봤다.

## 묶음으로 고르면 답이 얼마나 좋아졌나?

연구진은 구글 검색으로 가져온 문서 30개를 같은 조건으로 주고, 문서를 고르는 방식만 바꿔 비교했다. 검색 결과 그대로 쓰는 방식보다 묶음 기준표로 훈련한 모델이 네 가지 질문에서 평균 54.0점에서 60.1점으로 올랐다.

| 문서 고르는 방식 | 웹 탐색 | 건강 상담 | 딥리서치 | 연구 질문 | 평균 |
|---|---|---|---|---|---|
| 검색 결과 그대로 | 44.5 | 55.2 | 45.3 | 71.1 | 54.0 |
| 관련성 순위 모델 중 최고(평균 기준) | 53.0 | 57.0 | 46.6 | 72.8 | 57.4 |
| 답 생성용 기존 모델 중 최고 | 52.0 | 59.2 | 46.6 | 72.0 | 57.5 |
| 묶음 기준표로 훈련한 모델 | 58.0 | 61.5 | 46.8 | 74.2 | 60.1 |

기존 관련성 순위 모델 가운데 평균 점수가 가장 높은 방식은 57.4점이었다. 답 생성용 기존 모델 가운데 가장 높은 방식은 57.5점이었다.

다만 모든 질문에서 차이가 크게 난 것은 아니다. 웹 탐색에서는 검색 결과 그대로보다 13.5점 올랐지만, 딥리서치에서는 1.5점 높아지는 데 그쳤다. 따라서 이 실험만으로 모든 AI가 앞으로 같은 방식으로 글을 고른다고 볼 수는 없다.

## '관련성 순서'만으로 가르치면 부족할까?

연구진은 학습 방식도 바꿔서 비교했다. 선생 역할을 하는 AI가 문서를 질문과 얼마나 관련 있는지 순서대로 줄 세운 결과를 학습 재료로 사용했을 때 평균 점수는 48.1점이었다.

반대로 질문에 필요한 내용을 묶음이 얼마나 채우는지를 기준으로 문서를 고르게 했을 때는 52.5점이었다. 차이는 4.4점이다.

| 학습 방식(웹 탐색·건강 상담·위키 문제 3종 평균) | 평균 점수 |
|---|---|
| 기준표로 묶음 고르기 + 강화학습(완성본) | 52.5 |
| 강화학습 뺌 | 51.1 |
| 기준표 없이 선생 AI가 묶음 고르기 | 49.2 |
| 첫 단계 지도학습 뺌 | 48.3 |
| 선생 AI가 관련성 순서로 줄 세우기 | 48.1 |

이 결과가 사장님에게 주는 의미는 단순하다. 고객이 물을 법한 질문에 맞는 글을 쓰는 것만으로 끝내지 말고, 같은 질문에 답하는 다른 글에는 없는 내용을 갖추는 것이 중요할 수 있다.

## AI가 검색하는 횟수도 줄어드나?

좋은 문서 묶음을 고르면 한 번 검색했을 때 필요한 근거가 더 많이 들어올 수 있다. 그러면 같은 질문을 풀기 위해 다시 검색할 필요도 줄어들 수 있다.

실험에서는 묶음 기준표 모델의 질문당 검색 횟수가 건강 상담에서 2.9회, 연구 질문에서 2.9회였다. 관련성 순위 모델은 각각 3.2회였고, 답 생성용 기존 모델은 각각 3.4회와 3.5회였다.

| 시험 | 관련성 순위 모델 | 답 생성용 기존 모델 | 묶음 기준표 모델 | 줄어든 비율 |
|---|---|---|---|---|
| 건강 상담 | 3.2회 | 3.4회 | 2.9회 | 9.4%·14.7% |
| 연구 질문 | 3.2회 | 3.5회 | 2.9회 | 9.4%·17.1% |

후보 문서를 무조건 많이 넣는 것도 답은 아니었다. 후보 수를 10개에서 50개까지 늘려 시험했을 때 웹 탐색은 30개, 위키 문제는 40개를 넘기면서 효과가 멈추거나 오히려 떨어졌다. 연구진은 입력이 길어지면 문서를 고르는 모델이 헷갈릴 수 있다고 추정했다.

## 실제 검색도 질문을 나눠서 찾나?

구글은 AI 모드가 질문을 하위 주제로 나누고 여러 검색을 한꺼번에 돌린다고 밝혔다. 공식 블로그에서는 검색 한 번 할 시간에 열두 번쯤 검색한다는 설명이 나왔고, 깊이 조사하는 기능은 수백 번 검색할 수 있다고 했다.

질문을 쪼개서 여러 번 검색한다면 검색마다 필요한 문서의 묶음도 달라질 수 있다. 다만 구글이 이 문서 묶음을 이번 연구와 같은 방식으로 고르는지는 공개되지 않았다.

AI가 답 하나에 다는 출처 수도 많지 않다. 국내 조사에서는 답 하나당 인용 수가 챗GPT 4.0개, 제미나이 7.8개, 퍼플렉시티 19.8개였다.

| 항목 | 숫자 | 출처 |
|---|---|---|
| 구글 AI 모드가 대신 하는 검색 | 약 12번 | 구글 공식 블로그 |
| 구글 깊이 조사 기능의 검색 | 수백 번 | 구글 I/O 2025 발표 |
| 실험 속 AI의 질문당 검색 | 2.9~3.5회 | 인민대·텐센트 실험 |
| 답 하나당 인용(챗GPT) | 4.0개 | 함샤우트 2026.8 |
| 답 하나당 인용(퍼플렉시티) | 19.8개 | 함샤우트 2026.8 |

즉, 고객의 질문에 관련된 글을 많이 만들어 놓는 것만으로는 충분하다고 보기 어렵다. 실제 답에 들어갈 수 있는 글의 수가 제한적이라면, 서로 같은 말을 반복하는 글보다 각자 다른 사실을 가진 글이 필요할 수 있다.

## 그럼 가게 홈페이지 글은 어떻게 달라져야 하나?

예를 들어 고객이 「광주 임플란트 비용」을 물었다고 하자. 일반적인 임플란트 설명이 이미 여러 문서에 있다면, 여섯 번째 일반론은 다른 글과 겹칠 가능성이 있다.

반대로 뼈이식이 필요한 경우의 추가 비용과 기간처럼 다른 글에서 다루지 않은 조건을 숫자로 설명하면 묶음에서 다른 역할을 할 수 있다. 이것은 연구 결과를 가게 홈페이지에 적용한 예상이지, 실제 인용을 보장하는 규칙은 아니다.

| 연구 기준 | 묶음에서 빠지는 글 | 남을 가능성이 높은 글(예상) |
|---|---|---|
| 빈칸 채우기 | 남들과 같은 일반론(「임플란트란」) | 다른 글에 없는 조건: 가격 범위, 소요 기간, 안 되는 경우 |
| 간결함 | 같은 내용을 페이지마다 반복 | 한 페이지에 한 가지 사실, 숫자 위주 |
| 일관성 | 페이지끼리 가격·시간이 다름 | 모든 페이지에서 같은 숫자 |
| 권위 | 출처 없는 효과 주장 | 자격, 공식 기준, 출처 링크 |
| 최신성 | 연도 없는 가격표 | 기준 시점이 적힌 가격·영업 정보 |

홈페이지 안에서도 내용이 서로 어긋나면 문제가 된다. 가격과 시간이 페이지마다 다르면 일관성 기준에 걸릴 수 있고, 출처 없는 효과 주장은 권위 기준을 채우기 어렵다.

실제 홈페이지 글을 만들 때는 한 페이지에 한 가지 사실을 분명하게 담는 방식이 도움이 될 수 있다. 가격이라면 기준 시점을 적고, 영업 정보라면 최신 정보를 적는 식이다.

## 이 실험을 어디까지 믿어야 하나?

한계도 분명하다. 시험 질문은 영어였고 문제당 100~200개 표본으로 채점했다. 위키 문제는 2018년 12월 위키백과 자료만 사용했다.

또 채점과 기준표 만들기를 같은 계열의 큰 AI인 GPT-5.1이 맡았다. 따라서 그 AI의 판단 방식이 점수에 영향을 줬을 수 있다. 실험 모델도 80억 매개변수 규모의 연구용 모델이다.

무엇보다 챗GPT·구글·네이버가 실제로 이 방식을 쓴다는 증거는 아니다. 딥리서치 질문에서는 개선 폭도 1.5점에 그쳤다.

그래도 여러 모델을 비교한 실험에서 관련성 순위만으로 고르는 것보다 묶음 단위로 고르는 방식이 더 나았다는 결과는 확인됐다. 그래서 지금 사장님이 준비할 수 있는 방향은 다른 글과 똑같은 글을 계속 늘리는 것보다, 고객 질문에 필요한 빈 곳을 찾아 정확한 사실로 채우는 것이다.

요점 ① 같은 문서 30개를 묶음 기준으로 고르자 딥리서치 평균이 54.0에서 60.1로 올랐다. 요점 ② 관련성 순서로 가르치면 48.1점, 묶음 기준으로 가르치면 52.5점으로 4.4점 차이가 났다. 요점 ③ 묶음 기준표 모델의 질문당 검색은 2.9회였고, 관련성 순위 모델은 3.2회였다. 요점 ④ 챗GPT의 답 하나당 인용은 4.0개였으며, 빈 측면을 채우는 글이 남을 것이라는 내용은 아직 예상이다.

## 같이 읽을 글

 

- AI가 참고 글을 한꺼번에 많이 읽으면, 우리 글은 덜 쓰일까?

- 같은 글을 여러 곳에 올리면 AI가 더 믿을까?

- 고객이 AI에 뭘 물을지 몰라도 글을 고칠 수 있나?

- 우리 가게 글에도 남들이 좋다는 GEO 요령을 그대로 써야 할까?
 

## 자료 출처

 

- Training Documents Reranker with Search Rubrics for Deep Research Agent(중국 인민대 가오링 인공지능학원·텐센트, arXiv 2608.03527, 2026.8 제출, 딥리서치 질문 500개·위키 문제 5종)

- AI Mode in Google Search: Updates from Google I/O 2025(구글, 2025.5, 질문 쪼개기·깊이 조사 기능 '수백 번 검색')

- Google expert explains AI Mode in Search's query fan-out method(구글 검색 엔지니어링 책임자 인터뷰, '검색 한 번 할 시간에 열두 번쯤')

- AI Features and Your Website(구글 검색 센터 공식 문서, AI 개요·AI 모드 노출 조건)

- Google's Guide to Optimizing for Generative AI Features on Google Search(구글 검색 센터 공식 문서, 흔한 글과 경험이 담긴 글·중복 콘텐츠 줄이기)

- What is query fan-out?(셈러시 블로그, 하위 질문 개념 설명)