우리 홈페이지는 AI 봇을 막아야 할까?
학습용 봇과 검색·인용용 봇은 따로 봐야 한다
학습용 AI 봇과 검색·인용용 AI 봇은 하는 일이 다르다. 4,223개 홈페이지를 분석한 결과 GPTBot은 차단이 허용보다 2.33배 많았지만, OAI-SearchBot은 오히려 허용이 더 많았다. 홈페이지를 AI에 노출하고 싶다면 봇을 전부 막는 것보다 어떤 봇인지 나눠 보는 것이 중요하다.
학습용 봇은 막고, 검색·인용용 봇은 열어두는 식으로 봇마다 따로 정해야 한다.
AI 봇은 왜 이름이 여러 개일까
같은 회사가 만든 AI라도 홈페이지에 들어오는 목적이 다르기 때문이다. 오픈AI는 GPTBot, OAI-SearchBot, ChatGPT-User를 따로 사용한다.
GPTBot은 생성형 AI 모델 학습에 쓰일 수 있는 콘텐츠를 가져가는 봇이다. OAI-SearchBot은 챗GPT 검색 기능에서 홈페이지를 찾고 인용할 수 있도록 움직이는 봇이다. ChatGPT-User는 이용자가 챗GPT에 특정 주소를 읽어달라고 요청했을 때 방문한다.
앤트로픽도 ClaudeBot은 학습용, Claude-SearchBot은 검색 품질 개선용, Claude-User는 이용자 질문 응답용으로 구분한다. 구글도 Googlebot과 Google-Extended를 따로 둔다.
따라서 robots.txt에서 AI 봇을 전부 똑같이 막으면 각각의 차이를 활용할 수 없다.
| 봇 이름 | 회사 | 용도 | 우리 홈페이지에 미치는 영향 |
|---|---|---|---|
| GPTBot | 오픈AI | 모델 학습 | 막아도 챗GPT 답변 인용에는 영향 적음 |
| OAI-SearchBot | 오픈AI | 챗GPT 검색· | 막으면 챗GPT 답변에서 빠질 수 있음 |
| ChatGPT-User | 오픈AI | 이용자 요청 시에만 방문 | 막으면 고객이 링크를 읽어달라 해도 못 읽음 |
| ClaudeBot | 앤트로픽 | 모델 학습 | 막아도 클로드 검색 응답과 무관 |
| Claude-SearchBot | 앤트로픽 | 검색 품질 개선 | 막으면 클로드 검색 결과에서 빠질 수 있음 |
| Google-Extended | 구글 | 제미나이 학습 옵트아웃 | 막아도 구글 검색· |
| Googlebot | 구글 | 검색 색인 | 막으면 검색· |
학습용 봇은 많이 막고 있나
실제로 홈페이지 운영자들은 학습용 봇을 많이 막고 있다. 2026년 8월 31일 기준으로 분석한 4,223개 robots.txt에서 학습용으로 분류되는 봇은 모두 차단 건수가 허용 건수보다 많았다.
GPTBot은 차단 696건, 허용 299건으로 차단이 2.33배 많았다. ClaudeBot도 차단 619건, 허용 259건으로 2.39배 많았다.
Bytespider는 차단 551건, 허용 95건으로 5.80배였고, CCBot은 4.08배였다. Google-Extended도 차단 572건, 허용 267건으로 2.14배였다.
즉 AI 학습에 홈페이지 내용을 사용하는 것을 원하지 않는 곳에서는 학습용 봇을 따로 막는 방식이 이미 널리 쓰이고 있다.
| 학습용 봇 | 차단 건수 | 허용 건수 | 차단:허용 비율 |
|---|---|---|---|
| Bytespider(바이트댄스) | 551 | 95 | 5.80:1 |
| CCBot(Common Crawl) | 604 | 148 | 4.08:1 |
| ClaudeBot(앤트로픽) | 619 | 259 | 2.39:1 |
| GPTBot(오픈AI) | 696 | 299 | 2.33:1 |
| Google-Extended(구글) | 572 | 267 | 2.14:1 |
검색용 봇까지 막으면 어떻게 될까
검색·답변용 봇은 분위기가 달랐다. 같은 조사에서 OAI-SearchBot은 차단 250건, 허용 266건으로 차단보다 허용이 많았다.
차단:허용 비율로 보면 0.94대1이다. GPTBot의 2.33대1과 비교하면 차이가 크다.
OAI-SearchBot은 챗GPT 검색 기능에 홈페이지를 노출시키는 봇이다. 따라서 이 봇을 막으면 챗GPT 답변에서 홈페이지가 빠질 수 있다.
ChatGPT-User는 차단 300건, 허용 267건으로 1.12대1이었다. 이 봇은 이용자가 특정 홈페이지 주소를 읽어달라고 요청했을 때 움직이므로, 막으면 그런 요청에 홈페이지가 읽히지 않을 수 있다.
구글봇도 차단 307건, 허용 277건으로 1.11대1이었다. 구글 검색 색인에 사용하는 봇이므로 차단하면 검색과 AI 개요에서도 빠질 수 있다.
| 검색· | 차단 건수 | 허용 건수 | 차단:허용 비율 |
|---|---|---|---|
| OAI-SearchBot(오픈AI) | 250 | 266 | 0.94:1 |
| Googlebot(구글) | 307 | 277 | 1.11:1 |
| ChatGPT-User(오픈AI) | 300 | 267 | 1.12:1 |
그 숫자는 어디서 나온 걸까
이 조사는 클라우드플레어의 공개 데이터인 Radar에서 robots.txt 지시문 항목을 내려받아 분석한 결과다. 2026년 9월 3일에 데이터를 내려받았고, 분석 대상은 2026년 8월 31일 스냅샷이다.
표본은 홈페이지 4,223개의 robots.txt 파일이다. 올해 4월 처음 조사했을 때는 4,047개였고, 이후 176개가 늘었다.
| 항목 | 내용 |
|---|---|
| 표본 | robots.txt 4,223개 |
| 스냅샷 시점 | 2026년 8월 31일 |
| 데이터 출처 | 클라우드플레어 Radar |
| 최초 조사(비교) | 4,047개(2026년 4월) |
다만 robots.txt에 허용이라고 적혀 있다고 해서 실제로 그 봇이 반드시 콘텐츠를 가져갔다는 뜻은 아니다. robots.txt는 봇에게 접근 규칙을 알려주는 장치이기 때문이다.
2025년 8월 클라우드플레어는 퍼플렉시티가 자기 봇이 차단되면 일반 브라우저인 것처럼 이름을 바꿔 robots.txt를 무시하고 콘텐츠를 가져갔다고 밝힌 바 있다. 이 때문에 해당 봇은 검증된 봇 목록에서 제외됐다.
반면 같은 검증에서 오픈AI 봇은 차단되면 곧바로 멈췄다. 따라서 봇마다 robots.txt 규칙을 실제로 어떻게 따르는지도 차이가 있다는 점을 알아둘 필요가 있다.
우리 업종은 어떻게 하고 있을까
AI 봇 관련 규칙을 가장 많이 적어 둔 업종은 기술, 비즈니스, 이커머스 순이었다. 기술 분야는 946개 도메인, 비즈니스는 792개, 이커머스는 308개였다.
정보기술이나 컨설팅처럼 콘텐츠 자체가 중요한 업종일수록 학습용 봇을 세밀하게 막아 두는 경향이 있었다. 반면 동네 상점이 많은 업종은 robots.txt를 따로 건드리지 않은 기본값 상태가 많았다.
| 업종 | 규칙 작성 도메인 수 |
|---|---|
| 기술(Technology) | 946 |
| 비즈니스(Business) | 792 |
| 이커머스(Ecommerce) | 308 |
중요한 점은 홈페이지가 있다면 어떤 봇을 막고 어떤 봇을 열지 직접 정할 수 있다는 것이다. 학습을 원하지 않는다면 학습용 봇을 막고, 검색과 답변에서 홈페이지가 보이기를 원한다면 검색·인용용 봇은 별도로 확인하는 방식이다.
네이버에 올린 글은 사장님이 정할 수 있을까
동네 가게는 홈페이지보다 네이버 블로그나 스마트스토어를 먼저 쓰는 경우가 많다. 그런데 이런 플랫폼에서는 사장님이 AI 봇별 접근 규칙을 직접 정하기 어렵다.
2026년 9월 20일 확인한 결과 네이버 블로그, 스마트스토어, 네이버쇼핑은 AI 봇 9종을 모두 차단하고 있었다. 여기에는 GPTBot 같은 학습용 봇뿐 아니라 검색·인용용 봇도 포함돼 있었다.
ChatGPT-User는 이 차단 목록에 없었다. 이는 차단하고 있다는 뜻이 아니라 해당 봇에 대한 규칙 자체가 없다는 뜻이다.
| 네이버 채널 | AI 봇 9종 차단 여부 | ChatGPT-User |
|---|---|---|
| 네이버 블로그 | 전부 차단 | 목록에 없음 |
| 스마트스토어 | 전부 차단 | 목록에 없음 |
| 네이버쇼핑 | 전부 차단 | 목록에 없음 |
결국 네이버 플랫폼에 글을 올리는 것과 별도로 홈페이지를 운영하면 선택할 수 있는 범위가 달라진다. 홈페이지에서는 학습용 봇과 검색·인용용 봇을 구분해 허용하거나 차단하는 규칙을 직접 정할 수 있기 때문이다.
그래서 무엇을 막고 무엇을 열어야 할까
기준은 단순하다. AI 모델 학습에 콘텐츠를 제공하고 싶지 않다면 GPTBot이나 ClaudeBot 같은 학습용 봇을 막는 방법을 살펴볼 수 있다.
반대로 챗GPT 검색이나 다른 검색 결과에서 홈페이지가 찾아지고 인용되기를 원한다면 OAI-SearchBot이나 Googlebot 같은 검색용 봇까지 함께 막아서는 안 된다. 이용자가 챗GPT에 홈페이지를 직접 읽어달라고 요청하는 상황까지 고려한다면 ChatGPT-User도 따로 봐야 한다.
결국 중요한 것은 AI 봇을 전부 열어두느냐 전부 막느냐가 아니다. 봇마다 목적이 다르다는 사실을 알고, 홈페이지에 어떤 접근을 허용할지 각각 정하는 것이다.
요점 ① 조사 표본은 홈페이지 4,223개의 robots.txt이며 2026년 8월 31일 기준이다. ② GPTBot은 차단 696건·허용 299건으로 차단:허용 비율이 2.33대1이다. ③ OAI-SearchBot은 차단 250건·허용 266건으로 차단:허용 비율이 0.94대1이다. ④ 네이버 블로그·스마트스토어·네이버쇼핑은 2026년 9월 20일 확인 당시 AI 봇 9종을 전부 차단하고 있었다.
같이 읽을 글
- 우리 홈페이지를 AI 봇이 못 읽게 막아둔 걸까? [/column/wordpress-wix-cafe24-robots-txt-default]
- 홈페이지가 느리면 챗GPT에 덜 나올까? [/column/site-speed-crawl-budget-ai-citation]
- 퍼플렉시티 이용자가 늘면 우리 가게도 챙겨야 할까? [/column/perplexity-users-doubled-should-we-care-0925]
자료 출처
- We Analyzed robots.txt Across Cloudflare's Network(TechnologyChecker.io·클라우드플레어 Radar·표본 4,223개·2026.9.3 업데이트)
- OpenAI 크롤러 공식 문서: GPTBot·OAI-SearchBot·ChatGPT-User(오픈AI 공식)
- Anthropic 크롤러 공식 지원문서: ClaudeBot·Claude-SearchBot·Claude-User(앤트로픽 공식)
- Cloudflare Delists And Blocks Perplexity From Crawling Websites(서치엔진저널·2025.8)
- Anthropic clarifies what its three web crawlers do(서치엔진랜드·2026.2)
- 네이버 블로그, 앞으로 AI 검색엔진에서 못 본다?(인블로그 블로그·참고용)
작성일
← 칼럼 목록