우리 홈페이지를 AI 봇이 못 읽게 막아둔 걸까?
워드프레스·윅스·카페24의 기본 설정과 실제 차단 여부 확인법
홈페이지를 만들어준 제작사가 처음부터 AI 봇을 막아둔 것은 아닐까. 워드프레스·윅스·카페24를 확인해 보니 기본 robots.txt에는 AI 봇을 막는 줄이 없었다. 클라우드플레어가 조사한 3,816곳에서도 86%는 AI 봇 관련 설정이 없었다.
처음부터 막혀 있다기보다 사람이 설정했거나 방화벽이 따로 막고 있는 경우를 확인해야 한다.
제작사가 처음부터 AI 봇을 막아둔 걸까?
사장님 입장에서는 충분히 생길 수 있는 의문이다. AI가 홈페이지 내용을 읽고 답변에 넣으려면 먼저 홈페이지에 접근할 수 있어야 하기 때문이다. 이때 robots.txt에 AI 봇을 막는 규칙이 들어 있으면 접근이 제한될 수 있다.
그런데 워드프레스·윅스·카페24의 기본 설정을 확인해 보니 이야기가 달랐다. 세 플랫폼 모두 기본 robots.txt에 GPTBot·ChatGPT-User·ClaudeBot 같은 AI 봇을 따로 막는 줄이 없었다.
워드프레스는 기본으로 막혀 있나?
워드프레스닷컴과 한국어 워드프레스 공식 사이트의 robots.txt를 2026년 9월 23일 직접 확인한 결과, `User-agent: *` 아래 `Disallow: /wp-admin/`이 있는 정도였다. AI 봇을 따로 막는 규칙은 없었다.
자체 호스팅 워드프레스도 별도의 robots.txt 파일이 없으면 워드프레스가 같은 내용의 가상 robots.txt를 자동으로 만든다. 따라서 제작사가 따로 설정하지 않았다면 기본 상태에서 AI 봇 차단 규칙이 들어가 있는 것은 아니다.
다만 워드프레스닷컴에는 별도의 설정이 있다. 「설정 → 읽기 → 제3자 공유 제한」을 켜면 AI 봇이 차단 목록에 자동으로 추가된다. 이 기능은 2024년 2월 27일 발표됐고 처음에는 꺼져 있다.
| 확인 대상 | 기본 robots.txt 내용 | AI 봇 전용 줄 | 확인일 |
|---|---|---|---|
| wordpress.com | User-agent: * / Disallow: /wp-admin/ | 없음 | 2026-09-23 직접 확인 |
| ko.wordpress.org | User-agent: * / Disallow: /wp-admin/ | 없음 | 2026-09-23 직접 확인 |
| 워드프레스닷컴 '제3자 공유 제한' 토글 | 켜면 AI 봇이 disallow 목록에 자동 추가 | 처음엔 꺼짐 | 2024-02-27 발표 |
윅스도 기본으로 열려 있나?
윅스 고객센터는 사이트의 robots.txt가 기본적으로 모든 페이지에 대한 검색엔진 봇의 접근을 허용한다고 안내한다. AI 봇을 막으려면 SEO 대시보드의 「Crawlers & Indexing」에서 CCBot·GPTBot·ChatGPT-User·BingAI 같은 이름을 직접 추가해야 한다.
2026년 9월 23일 www.wix.com의 robots.txt도 확인했다. 요청에 정상적으로 응답했고, 내부 경로에 대한 차단 외에 AI 봇을 겨냥한 줄은 없었다. 즉 윅스도 AI 봇 차단이 기본으로 들어가는 구조는 아니다.
카페24는 기본으로 막혀 있나?
카페24 쇼핑몰 관리자 화면의 robots.txt 기본 설정은 PC와 모바일 모두 `User-agent: * / Allow: /`다. 모든 크롤러에게 전체 페이지 접근을 허용하는 형태다.
하지만 카페24에는 robots.txt와 별개의 기능이 있다. 「보안 관리 → 봇 트래픽 차단」을 켜면 서버 앞단에서 자동화된 요청을 걸러낼 수 있다. 이 경우 robots.txt에는 차단 규칙이 없어도 AI 봇의 요청이 실제 홈페이지에 도착하기 전에 막힐 수 있다.
2026년 9월 23일 카페24 자사 사이트에 접속했을 때도 정상적인 robots.txt 대신 방화벽 확인 페이지가 반환됐다. robots.txt와 방화벽은 별개로 확인해야 한다는 뜻이다.
| 플랫폼 | 기본 robots.txt | AI 봇 전용 규칙 | 별도 방화벽 기능 |
|---|---|---|---|
| 워드프레스 | Disallow: /wp-admin/ 만 | 없음(수동 설정 필요) | 호스팅사마다 다름 |
| 윅스 | 전체 허용 | 없음(SEO 패널에서 수동 추가) | 자체 방화벽 안내 없음 |
| 카페24 쇼핑몰 | User-agent: * Allow: / | 없음 | 보안 관리 → 봇 트래픽 차단(선택 기능) |
실제로 AI 봇을 막는 곳도 있나?
있다. 다만 이것을 곧바로 제작사가 기본으로 막았다는 뜻으로 볼 수는 없다. 플랫폼이나 사이트 운영자가 어떤 설정을 해두었는지에 따라 결과가 달라진다.
2026년 9월 20일 재확인한 네이버 블로그·스마트스토어·네이버쇼핑은 AI 봇 9종을 모두 차단하고 있었다. 아마존은 OAI-SearchBot과 ChatGPT-User를 차단했고, 쿠팡은 요청 시 403을 반환했다. 반면 11번가와 지마켓은 허용돼 있었다.
| 사이트 | AI 봇 상태 | 확인 시점 |
|---|---|---|
| 네이버 블로그· | AI 봇 9종 전부 차단 | 2026-09-20 재확인 |
| 아마존 | OAI-SearchBot· | 2026-09 확인 |
| 쿠팡 | 요청 시 403 반환 | 2026-09 확인 |
| 11번가· | 허용 | 2026-09 확인 |
| 카페24 자사 사이트(www.cafe24.com) | robots.txt 요청에 방화벽 확인 페이지 반환 | 2026-09-23 직접 확인 |
robots.txt만 보면 충분한가?
그렇지 않다. AI 봇 차단은 최소 세 곳에서 따로 일어날 수 있다.
첫째는 robots.txt에 `Disallow`를 적는 방법이다. 둘째는 관리자 화면에서 노출 방지나 제3자 공유 제한 같은 설정을 켜는 방법이다. 셋째는 호스팅사나 서버의 방화벽에서 자동화된 요청 자체를 걸러내는 방법이다.
첫째와 둘째는 설정이 robots.txt에 반영됐다면 파일을 열어 확인할 수 있다. 하지만 방화벽은 robots.txt가 정상적으로 보여도 실제 요청을 막을 수 있기 때문에 파일만 확인해서는 알 수 없다.
| 차단 종류 | 어디서 일어나나 | robots.txt만 봐서 확인되나 |
|---|---|---|
| robots.txt Disallow 줄 | 파일 자체 | 그렇다 |
| 관리자 설정(노출 방지 체크박스 등) | 관리자 화면 → 파일에 자동 반영 | 반영된 뒤라면 그렇다 |
| 호스팅 방화벽· | 서버 앞단 | 아니다, 파일은 그대로여도 요청이 걸러진다 |
사장님이 직접 확인하려면 어떻게 하나?
가장 먼저 브라우저 주소창에 `우리도메인/robots.txt`를 입력하면 된다. 화면에서 GPTBot·ChatGPT-User·ClaudeBot·PerplexityBot 같은 AI 봇 이름이 있는지 확인한다.
AI 봇 이름이 있다면 그 옆의 규칙을 본다. `Disallow: /`라면 전체 차단이고, 특정 경로만 적혀 있다면 그 경로만 차단하는 설정이다.
워드프레스닷컴이라면 설정 화면도 함께 봐야 한다. 「설정 → 읽기」에서 노출 방지나 제3자 공유 제한과 관련된 항목이 켜져 있는지 확인하면 된다.
여기까지는 사장님이 직접 확인할 수 있다. 다만 방화벽까지 확인하려면 개발자에게 AI 봇 이름을 흉내 낸 요청을 보내 달라고 하면 된다. 응답이 200이 아니라 403이나 503으로 나온다면 방화벽 차단 여부를 추가로 살펴봐야 한다.
| 단계 | 방법 | 확인 포인트 |
|---|---|---|
| 1 | 「우리도메인/robots.txt」를 브라우저에 직접 입력 | GPTBot· |
| 2 | 이름 옆의 줄을 읽는다 | Disallow: /(전체 차단)인지 일부 경로인지 |
| 3 | 워드프레스면 설정 → 읽기 화면 확인 | 노출 방지· |
| 4 | 개발자에게 봇 이름을 흉내 낸 요청을 부탁 | 응답이 200이 아니라 403· |
결국 "홈페이지를 만든 제작사가 AI 봇을 처음부터 막아놓았다"라고 단정할 근거는 없다. 기본 robots.txt만 보면 워드프레스·윅스·카페24 모두 AI 봇을 따로 막지 않는다.
반대로 robots.txt가 열려 있다고 해서 무조건 AI가 홈페이지를 읽을 수 있는 것도 아니다. 사람이 켠 설정과 서버 앞단의 방화벽이 따로 작동할 수 있기 때문이다.
요점 ① 워드프레스·윅스·카페24 3곳의 기본 robots.txt에는 AI 봇 차단 줄이 없다. ② 클라우드플레어 조사에서 확인된 3,816곳 중 86%는 AI 봇 관련 설정이 없었다. ③ 워드프레스닷컴은 제3자 공유 제한을 켜면 AI 봇이 차단 목록에 추가되고, 카페24는 봇 트래픽 차단 기능이 따로 있다. ④ 홈페이지 확인은 robots.txt 1단계, 관리자 설정 2단계, 방화벽 요청 확인 3단계로 나눠서 해야 한다.
같이 읽을 글
자료 출처
- From Googlebot to GPTBot: Who's crawling your site in 2025(클라우드플레어·2025.6.6·상위 1만 도메인 중 robots.txt 확인 3,816곳)
- More Control Over the Content You Share(워드프레스닷컴·2024.2.27 발표)
- Blocking AI Crawlers from Your Site(윅스 고객센터)
- Editing Your Site's Robots.txt File(윅스 고객센터)
- Request that AI models exclude your site(스퀘어스페이스 고객센터)
- robots.txt - SEO 용어(카페24 쇼핑몰 SEO 안내·이커머스SEO)
- 검색로봇 접근제어 설정 : 구글쇼핑 등록 가이드(카페24)(이니셔티브)
작성일
← 칼럼 목록