우리 홈페이지도 AI 크롤러를 따로 막아야 할까?

검색·에이전트·학습을 나눠 막을 수 있게 된 클라우드플레어, 작은 홈페이지는 무엇을 알아둬야 하나

클라우드플레어가 2026년 7월부터 무료 요금제를 포함한 전 요금제에서 AI 크롤러를 검색·에이전트·학습으로 나눠 막거나 열 수 있게 했다. 검색을 막으면 AI 답변에 들어갈 정보를 찾는 크롤러도 막히지만, 학습만 막으면 검색용 크롤러는 계속 들어올 수 있다. 작은 홈페이지라도 AI 검색에서 고객에게 발견되길 원한다면 이 차이를 알아둘 필요가 있다.

핵심은 AI 봇을 전부 막느냐 여느냐가 아니라, 어떤 목적으로 들어오는 봇을 허용할지 구분하는 데 있다.

사장님 홈페이지에 들어오는 AI 봇은 다 같은 봇일까?

다르다. 클라우드플레어는 AI 크롤러를 크게 검색·에이전트·학습 세 가지로 나눈다.

검색 봇은 나중에 질문에 답할 때 사용할 내용을 미리 찾아 색인한다. 에이전트 봇은 고객이 AI에게 시킨 일을 그 자리에서 실행하기 위해 홈페이지를 찾는다. 학습 봇은 AI 모델을 훈련하거나 미세조정하기 위해 콘텐츠를 수집한다.

분류하는 일대표 봇(회사)
검색(Search)나중에 답할 내용을 색인OAI-SearchBot(OpenAI)·PerplexityBot(퍼플렉시티)·Claude-SearchBot(앤스로픽)·Googlebot(구글)
에이전트(Agent)지금 고객이 시킨 일을 그 자리에서 실행ChatGPT-User(OpenAI)·Perplexity-User(퍼플렉시티)·Claude-User(앤스로픽)
학습(Training)모델 훈련용으로 콘텐츠를 수집GPTBot(OpenAI)·ClaudeBot(앤스로픽)·Google-CloudVertexBot(구글)

이 차이는 작은 홈페이지에도 중요하다. 예를 들어 학습용 봇을 막았다고 해서 그 홈페이지가 AI 답변에서 사라지는 것은 아니다. 검색용 봇이 허용돼 있다면 검색용으로 수집된 내용은 AI가 답변할 때 활용될 수 있다.

그런데 왜 이제 와서 세 가지로 나눴을까?

클라우드플레어가 이런 구분을 처음 만든 것은 아니다. 2025년 9월 24일에는 robots.txt에 검색·실시간 답변용·학습용을 구분하는 「콘텐츠 신호」를 먼저 내놨다.

이번 변화는 그 구분을 실제 차단 설정으로 넓힌 것이다. 2026년 7월부터 무료 요금제를 포함한 전 요금제에서 대시보드로 검색·에이전트·학습 크롤러를 따로 제어할 수 있게 됐다.

시점내용
2025-09-24robots.txt 확장 「콘텐츠 신호」 발표, search·ai-input·ai-train 3개 신호 도입, 380만 개 도메인에 적용
2026-07-01~02대시보드형 「AI 크롤 컨트롤」을 무료 요금제 포함 전 요금제로 확대, 검색·에이전트·학습 3분류로 개별 제어 가능
2026-09-15새로 연결하는 사이트의 기본값 변경: 광고 붙은 페이지에서 학습·에이전트 봇 기본 차단, 검색 봇은 기본 허용 유지

2026년 9월 15일부터는 새로 연결하는 사이트의 기본값도 바뀌었다. 광고가 붙은 페이지에서는 학습·에이전트 봇은 기본 차단하고, 검색 봇은 기본 허용하는 방식이다.

검색은 열어두고 학습만 막는 곳이 많을까?

클라우드플레어가 공개한 수치를 보면 검색 크롤러를 차단하는 사이트는 1% 미만이다. 반면 학습 크롤러를 제한하는 사이트는 17%다.

검색은 AI가 나중에 질문에 답할 때 필요한 정보를 찾는 역할이고, 학습은 모델을 만드는 데 콘텐츠를 쓰는 역할이기 때문이다. 두 목적을 똑같이 볼 필요가 없다는 뜻이다.

다만 한 가지 문제가 있다. 검색과 학습을 함께 하는 혼합형 크롤러가 전체 인증 크롤러 트래픽의 36.6%를 차지한다. 그래서 특정 목적 하나만 막으려 해도 다른 목적까지 함께 막히는 경우가 있다.

항목수치
검색 크롤러를 차단하는 사이트 비율1% 미만
학습 크롤러를 제한하는 사이트 비율17%
검색·학습을 함께 하는 혼합형 크롤러 비중36.6%(전체 인증 크롤러 트래픽 중)
상위 1만 개 도메인 중 robots.txt 보유 비율37%
콘텐츠 신호가 적용된 도메인 수380만 개

AI 봇을 굳이 나눠야 할 만큼 많이 들어오나?

AI 크롤러가 홈페이지를 찾는 규모 자체가 커지고 있다. 클라우드플레어는 봇 트래픽이 예상보다 1년 이르게 사람 트래픽을 넘어섰다고 설명한다.

AI 크롤러가 보내는 요청 중에는 이미 바뀌지 않은 페이지를 다시 가져가는 경우도 많다. 회사 설명에 따르면 AI 크롤러 요청의 50% 이상이 바뀌지 않은 페이지의 재수집에 쓰인다.

구글은 검색뿐 아니라 학습과 에이전트에 해당하는 봇도 운용한다. 클라우드플레어는 이 때문에 구글이 다른 AI 회사보다 약 2배 많은 정보에 접근한다고 지적했다.

항목수치
봇이 사람 트래픽을 넘어선 시점예상보다 1년 이르게 도달
AI 크롤러 요청 중 안 바뀐 페이지 재수집 비율50% 이상
구글의 정보 접근량(타 AI 회사 대비)약 2배

그럼 우리 홈페이지도 지금 확인해야 할까?

클라우드플레어의 세분화된 제어 기능은 클라우드플레어를 쓰는 사이트에 적용된다. 국내 소상공인이 많이 쓰는 플랫폼은 대부분 클라우드플레어 밖에 있기 때문에, 같은 방식으로 AI 봇을 세 종류로 나눠 설정할 수 있는지는 플랫폼마다 다르다.

실제로 확인한 곳에서도 차이가 있다. 네이버 블로그·스마트스토어·네이버쇼핑은 AI 봇 9종을 검색·에이전트·학습으로 구분하지 않고 모두 차단하고 있었다. 아마존도 OAI-SearchBot과 ChatGPT-User를 차단해 검색과 에이전트가 함께 막힌 상태였다.

반면 쿠팡은 403으로 전체 차단 상태였고, 11번가와 지마켓은 허용 상태였다. 브런치는 검색봇을 허용했지만 실제 인용은 0건이었다.

플랫폼(2026.9.16~20 직접 확인)상태
네이버 블로그·스마트스토어·네이버쇼핑AI 봇 9종 전부 차단(검색·에이전트·학습 구분 없음)
아마존OAI-SearchBot·ChatGPT-User 차단(검색·에이전트도 함께 막힘)
쿠팡403(전체 차단)
11번가·지마켓허용
브런치검색봇 허용, 실제 인용은 0건

이 차이는 홈페이지를 운영하는 입장에서 생각할 지점을 보여준다. AI 봇을 전부 막아두면 학습용 수집은 막을 수 있지만, 검색용 봇까지 함께 막힐 수 있다.

반대로 검색용 봇을 열어두면 AI가 나중에 고객의 질문에 답할 때 홈페이지 내용을 찾을 가능성을 남길 수 있다. 학습용 봇을 막았다고 해서 검색용으로 수집된 내용까지 함께 사라지는 것은 아니다.

따라서 작은 홈페이지라면 먼저 우리 사이트가 AI 봇을 전부 막고 있는지부터 확인할 필요가 있다. 클라우드플레어를 쓰는 경우에는 검색·에이전트·학습을 각각 따로 설정할 수 있다는 점까지 알아두면 된다.

요점 ① 2026년 7월부터 클라우드플레어는 무료 요금제를 포함한 전 요금제에서 AI 크롤러를 3가지로 나눠 제어할 수 있다. ② 2026년 9월 15일부터 새 사이트는 광고 페이지에서 학습·에이전트 봇이 기본 차단되고 검색 봇은 기본 허용된다. ③ 검색·학습을 함께 하는 혼합형 크롤러가 전체 인증 크롤러 트래픽의 36.6%를 차지한다. ④ 국내 확인 사례에서는 네이버 블로그·스마트스토어·네이버쇼핑이 AI 봇 9종을 구분 없이 전부 차단하고 있다.

같이 읽을 글

자료 출처

작성일

#홈페이지 #크롤러 제어 #클라우드플레어 #robots.txt #GEO

← 칼럼 목록
무료로 신청하기→