우리 홈페이지도 AI 크롤러가 막혔을까?
클라우드플레어의 9월 15일 정책은 광고 페이지를 중심으로 바뀌었다
우리 홈페이지가 이번 조치로 막혔는지는 클라우드플레어를 쓰는지와 광고가 있는지부터 확인해야 한다. 2026년 9월 15일부터 클라우드플레어는 광고가 붙은 페이지에서 AI 봇 3종 가운데 Agent와 Training을 기본 차단하기 시작했다. 다만 기존 유료 요금제로 설정을 마친 고객은 이번 자동 적용 대상이 아니다.
광고가 없는 동네 가게 홈페이지라면 이번 정책이 바로 적용됐다고 볼 수 없다.
우리 홈페이지가 클라우드플레어를 쓰는지 어떻게 알 수 있나
클라우드플레어는 홈페이지 앞단에서 방문 트래픽을 걸러 보내는 서비스다. 보안과 속도를 위해 홈페이지에 연결되는 경우가 있어, 사장님이 직접 신청한 기억이 없어도 사용할 수 있다.
클라우드플레어를 사용하는 홈페이지라면 이번 정책의 영향을 받을 가능성이 있다. 하지만 클라우드플레어를 쓴다는 사실만으로 AI 크롤러가 모두 막히는 것은 아니다.
2026년 7월 W3Techs 조사에서는 전 세계 웹사이트의 24.2%가 클라우드플레어를 사용하고 있다. 그래서 먼저 우리 홈페이지가 클라우드플레어를 사용하는지 확인하는 것이 순서다.
이번에 AI 봇을 왜 막았나
이번 정책의 핵심은 AI 봇을 한 종류로 보지 않는다는 데 있다. 클라우드플레어는 AI 봇을 Search, Agent, Training으로 나눠 관리한다.
Search는 콘텐츠를 색인해 나중에 질문에 답할 때 인용하는 용도다. Agent는 사람을 대신해 실시간으로 무언가를 하는 동작이고, Training은 모델 학습이나 미세조정을 위해 콘텐츠를 영구 수집하는 용도다.
| 분류 | 정의(클라우드플레어) | 광고 페이지 기본값(2026.9.15부터) |
|---|---|---|
| Search | 콘텐츠를 색인해 나중에 질문에 답할 때 인용 | 허용 |
| Agent | 사람을 대신해 실시간으로 무언가를 하는 동작 | 차단 |
| Training | 모델 학습· | 차단 |
광고가 있는 페이지에서는 Search는 허용하고 Agent와 Training은 기본 차단한다. 클라우드플레어가 설명하는 이유는 광고가 사람이 방문해서 보도록 넣은 신호이기 때문이다.
그럼 광고가 있는 홈페이지는 전부 막힌 건가
그렇지는 않다. 이번 정책은 모든 홈페이지에 똑같이 적용되는 방식이 아니다.
2026년 9월 15일부터 새로 클라우드플레어에 연결하는 도메인과 기존 고객이 새로 추가하는 사이트, 기존 무료 요금제 고객 전체에는 자동 적용된다. 반면 이미 유료 요금제로 설정을 마친 기존 고객은 자동 적용 대상이 아니다.
| 대상 | 2026.9.15 정책 적용 |
|---|---|
| 새로 클라우드플레어에 연결하는 도메인 | 자동 적용 |
| 기존 고객이 새로 추가하는 사이트 | 자동 적용 |
| 기존 무료(Free) 요금제 고객 전체 | 자동 적용 |
| 이미 유료 요금제로 설정을 마친 기존 고객 | 미적용(원하면 직접 변경) |
따라서 홈페이지에 광고가 없고, 이번 정책의 자동 적용 대상에도 해당하지 않는다면 이번 변경으로 새롭게 AI 봇이 막혔다고 단정하기 어렵다. 애드센스 배너나 제휴 링크로 수익을 내는 블로그형 홈페이지라면 광고 페이지인지 확인할 필요가 있다.
AI가 우리 홈페이지를 답변에 인용하는 것도 막히나
여기서 중요한 점은 Training과 Search가 다르다는 것이다. 이번 정책에서는 광고 페이지의 Training과 Agent는 차단하지만 Search는 허용한다.
AI 크롤러의 접근 상황을 보면 이런 구분은 이미 나타나고 있었다. 2026년 1월부터 3월까지 robots.txt 4,047건을 분석한 자료에서는 GPTBot의 robots.txt 차단 비중이 5.52%였고, 접근 가능 사이트 비율은 84%에서 12%로 급감했다.
| 봇 | robots.txt 차단(disallow) 비중 | 비고 |
|---|---|---|
| GPTBot(오픈AI, 학습용) | 5.52% | 접근 가능 사이트 비율이 84%→12%로 급감 |
| CCBot(커먼크롤) | 5.08% | - |
| ClaudeBot(앤트로픽) | 4.88% | - |
| Google-Extended(구글) | 4.44% | - |
| Bytespider(바이트댄스) | 4.23% | 5월부터 AI 크롤러 트래픽의 10.25%로 확대 |
같은 기간 CCBot은 5.08%, ClaudeBot은 4.88%, Google-Extended는 4.44%의 robots.txt 차단 비중을 보였다. Bytespider는 5월부터 AI 크롤러 트래픽의 10.25%로 확대됐다.
오픈AI의 답변 색인용 봇인 OAI-SearchBot은 평균 사이트 커버리지 55.67%를 유지했다. 따라서 학습용 봇이 막혀도 답변에 인용하기 위한 색인 작업은 별도로 계속되는 흐름이 있었다고 볼 수 있다.
다만 어떤 봇이 클라우드플레어에서 Search, Agent, Training 가운데 어디로 분류되는지는 사이트마다 확인해야 한다. 따라서 이번 정책만으로 학습용 봇은 막히고 답변 인용은 반드시 그대로라고 단정할 수는 없다.
AI 봇이 막히는 문제는 클라우드플레어만의 일인가
그렇지는 않다. 자동화된 트래픽 자체가 이미 큰 비중을 차지하고 있기 때문에 AI 봇의 접근을 어떻게 관리할지는 클라우드플레어와 별개로도 이어지는 문제다.
2026년 6월 3일 클라우드플레어 레이더에서는 전체 HTML 트래픽 가운데 자동화 요청이 57.5%를 차지했고, 사람의 요청은 42.5%였다. 2026년에는 클라우드플레어의 관리형 robots.txt로 AI 학습을 거부한 도메인이 380만 개였다.
| 지표 | 수치 | 시점 |
|---|---|---|
| 전체 HTML 트래픽 중 자동화 요청(봇) 비중 | 57.5%(사람 42.5%) | 2026.6.3, 클라우드플레어 레이더 |
| 클라우드플레어 관리형 robots.txt로 AI 학습을 거부한 도메인 | 380만 개 | 2026 |
| 전 세계 웹사이트 중 클라우드플레어를 쓰는 비율 | 24.2% | 2026.7, W3Techs |
이런 상황에서는 홈페이지가 어떤 AI 봇에 접근을 허용하고 있는지가 중요해진다. 특히 AI가 홈페이지 내용을 읽고 답변에 활용하는 것이 목적이라면 학습용 접근과 검색·색인용 접근을 구분해서 봐야 한다.
국내 사이트는 이미 AI 봇을 막고 있지 않나
클라우드플레어를 사용하지 않는다고 해서 AI 봇 접근이 모두 열려 있는 것도 아니다. 2026년 9월 16일부터 20일까지 직접 확인한 결과, 국내 대형 플랫폼에서도 AI 봇을 자체적으로 제한하는 사례가 있었다.
| 사이트 | AI 봇 상태(자체 확인) |
|---|---|
| 네이버 블로그· | AI 봇 9종 전부 차단 |
| 쿠팡 | 403으로 차단 |
| 11번가· | 허용 |
| 브런치 | 검색봇 허용(그런데도 인용 0건) |
네이버 블로그·스마트스토어·쇼핑은 AI 봇 9종을 전부 차단하고 있었다. 쿠팡은 403으로 차단했고, 11번가와 지마켓은 허용했다.
브런치는 검색봇을 허용하고 있었지만 인용은 0건이었다. 따라서 AI가 홈페이지 내용을 답변에 넣는지는 단순히 "AI 봇을 막았느냐" 하나만으로 결정되는 문제는 아니다.
동네 가게 홈페이지라면 우선 광고가 있는지 확인하고, 클라우드플레어를 사용하는지 확인하면 된다. 그다음 실제로 어떤 AI 봇의 접근이 허용되거나 차단되어 있는지를 살펴보는 것이 정확하다.
요점 ① 2026년 9월 15일부터 광고 페이지에서 Agent와 Training이 기본 차단됐다. 요점 ② 클라우드플레어 사용 여부와 2026년 9월 15일 정책의 자동 적용 대상인지 확인해야 한다. 요점 ③ 2026년 1~3월 분석에서 GPTBot의 접근 가능 사이트 비율은 84%에서 12%로 줄었다. 요점 ④ 2026년 6월 3일 자동화 요청은 전체 HTML 트래픽의 57.5%를 차지했다.
같이 읽을 글
- AI가 우리 홈페이지를 안 읽는 이유는 뭘까?
- 사이트맵을 내면 AI가 새 가격을 더 빨리 알까?
- 주소가 http로 시작하는 홈페이지, 이제 고객이 경고창부터 보게 될까?
- 같은 페이지가 주소 여러 개로 열리면 AI는 어느 주소를 가져갈까?
자료 출처
- Your site, your rules: new AI traffic options for all customers(클라우드플레어 공식 발표, 2026.7)
- Cloudflare's new policy pushes AI companies to pay for publishers' content(테크크런치, 2026.7.1)
- Cloudflare AI Crawler Controls: New Sept 2026 Defaults(원 제보 자료)
- robots.txt AI 크롤러 차단 현황 분석(TechnologyChecker.io, 2026 Q1, robots.txt 4,047건)
- Bot Traffic Passes Humans Online: Cloudflare Says Agentic AI Drove 57.5% Share(테크타임스, 2026.6.5)
- Usage Statistics and Market Share of Cloudflare(W3Techs, 2026.9)
- 클라우드플레어, 구글에 반기…"검색·학습 봇 구분하라"(바이라인네트워크, 2026.7)
- 클라우드플레어, 'AI 학습 거부·검색 노출 유지' 크롤링 제어 기능 출시(데이터넷)
작성일
← 칼럼 목록