# 우리 홈페이지를 AI 봇이 못 읽게 막아둔 걸까?

_워드프레스·윅스·카페24의 기본 설정과 실제 차단 여부 확인법_

> 워드프레스·윅스·카페24 기본 robots.txt에는 AI 봇 차단 규칙이 없다. 클라우드플레어 조사에서도 3,816곳 중 86%는 AI 봇 설정이 없었다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/wordpress-wix-cafe24-robots-txt-default
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-24

홈페이지를 만들어준 제작사가 처음부터 AI 봇을 막아둔 것은 아닐까. 워드프레스·윅스·카페24를 확인해 보니 기본 robots.txt에는 AI 봇을 막는 줄이 없었다. 클라우드플레어가 조사한 3,816곳에서도 86%는 AI 봇 관련 설정이 없었다.

처음부터 막혀 있다기보다 사람이 설정했거나 방화벽이 따로 막고 있는 경우를 확인해야 한다.

## 제작사가 처음부터 AI 봇을 막아둔 걸까?

사장님 입장에서는 충분히 생길 수 있는 의문이다. AI가 홈페이지 내용을 읽고 답변에 넣으려면 먼저 홈페이지에 접근할 수 있어야 하기 때문이다. 이때 robots.txt에 AI 봇을 막는 규칙이 들어 있으면 접근이 제한될 수 있다.

그런데 워드프레스·윅스·카페24의 기본 설정을 확인해 보니 이야기가 달랐다. 세 플랫폼 모두 기본 robots.txt에 GPTBot·ChatGPT-User·ClaudeBot 같은 AI 봇을 따로 막는 줄이 없었다.

## 워드프레스는 기본으로 막혀 있나?

워드프레스닷컴과 한국어 워드프레스 공식 사이트의 robots.txt를 2026년 9월 23일 직접 확인한 결과, `User-agent: *` 아래 `Disallow: /wp-admin/`이 있는 정도였다. AI 봇을 따로 막는 규칙은 없었다.

자체 호스팅 워드프레스도 별도의 robots.txt 파일이 없으면 워드프레스가 같은 내용의 가상 robots.txt를 자동으로 만든다. 따라서 제작사가 따로 설정하지 않았다면 기본 상태에서 AI 봇 차단 규칙이 들어가 있는 것은 아니다.

다만 워드프레스닷컴에는 별도의 설정이 있다. 「설정 → 읽기 → 제3자 공유 제한」을 켜면 AI 봇이 차단 목록에 자동으로 추가된다. 이 기능은 2024년 2월 27일 발표됐고 처음에는 꺼져 있다.

| 확인 대상 | 기본 robots.txt 내용 | AI 봇 전용 줄 | 확인일 |
|---|---|---|---|
| wordpress.com | User-agent: * / Disallow: /wp-admin/ | 없음 | 2026-09-23 직접 확인 |
| ko.wordpress.org | User-agent: * / Disallow: /wp-admin/ | 없음 | 2026-09-23 직접 확인 |
| 워드프레스닷컴 '제3자 공유 제한' 토글 | 켜면 AI 봇이 disallow 목록에 자동 추가 | 처음엔 꺼짐 | 2024-02-27 발표 |

## 윅스도 기본으로 열려 있나?

윅스 고객센터는 사이트의 robots.txt가 기본적으로 모든 페이지에 대한 검색엔진 봇의 접근을 허용한다고 안내한다. AI 봇을 막으려면 SEO 대시보드의 「Crawlers & Indexing」에서 CCBot·GPTBot·ChatGPT-User·BingAI 같은 이름을 직접 추가해야 한다.

2026년 9월 23일 www.wix.com의 robots.txt도 확인했다. 요청에 정상적으로 응답했고, 내부 경로에 대한 차단 외에 AI 봇을 겨냥한 줄은 없었다. 즉 윅스도 AI 봇 차단이 기본으로 들어가는 구조는 아니다.

## 카페24는 기본으로 막혀 있나?

카페24 쇼핑몰 관리자 화면의 robots.txt 기본 설정은 PC와 모바일 모두 `User-agent: * / Allow: /`다. 모든 크롤러에게 전체 페이지 접근을 허용하는 형태다.

하지만 카페24에는 robots.txt와 별개의 기능이 있다. 「보안 관리 → 봇 트래픽 차단」을 켜면 서버 앞단에서 자동화된 요청을 걸러낼 수 있다. 이 경우 robots.txt에는 차단 규칙이 없어도 AI 봇의 요청이 실제 홈페이지에 도착하기 전에 막힐 수 있다.

2026년 9월 23일 카페24 자사 사이트에 접속했을 때도 정상적인 robots.txt 대신 방화벽 확인 페이지가 반환됐다. robots.txt와 방화벽은 별개로 확인해야 한다는 뜻이다.

| 플랫폼 | 기본 robots.txt | AI 봇 전용 규칙 | 별도 방화벽 기능 |
|---|---|---|---|
| 워드프레스 | Disallow: /wp-admin/ 만 | 없음(수동 설정 필요) | 호스팅사마다 다름 |
| 윅스 | 전체 허용 | 없음(SEO 패널에서 수동 추가) | 자체 방화벽 안내 없음 |
| 카페24 쇼핑몰 | User-agent: * Allow: / | 없음 | 보안 관리 → 봇 트래픽 차단(선택 기능) |

## 실제로 AI 봇을 막는 곳도 있나?

있다. 다만 이것을 곧바로 제작사가 기본으로 막았다는 뜻으로 볼 수는 없다. 플랫폼이나 사이트 운영자가 어떤 설정을 해두었는지에 따라 결과가 달라진다.

2026년 9월 20일 재확인한 네이버 블로그·스마트스토어·네이버쇼핑은 AI 봇 9종을 모두 차단하고 있었다. 아마존은 OAI-SearchBot과 ChatGPT-User를 차단했고, 쿠팡은 요청 시 403을 반환했다. 반면 11번가와 지마켓은 허용돼 있었다.

| 사이트 | AI 봇 상태 | 확인 시점 |
|---|---|---|
| 네이버 블로그·스마트스토어·쇼핑 | AI 봇 9종 전부 차단 | 2026-09-20 재확인 |
| 아마존 | OAI-SearchBot·ChatGPT-User 차단 | 2026-09 확인 |
| 쿠팡 | 요청 시 403 반환 | 2026-09 확인 |
| 11번가·지마켓 | 허용 | 2026-09 확인 |
| 카페24 자사 사이트(www.cafe24.com) | robots.txt 요청에 방화벽 확인 페이지 반환 | 2026-09-23 직접 확인 |

## robots.txt만 보면 충분한가?

그렇지 않다. AI 봇 차단은 최소 세 곳에서 따로 일어날 수 있다.

첫째는 robots.txt에 `Disallow`를 적는 방법이다. 둘째는 관리자 화면에서 노출 방지나 제3자 공유 제한 같은 설정을 켜는 방법이다. 셋째는 호스팅사나 서버의 방화벽에서 자동화된 요청 자체를 걸러내는 방법이다.

첫째와 둘째는 설정이 robots.txt에 반영됐다면 파일을 열어 확인할 수 있다. 하지만 방화벽은 robots.txt가 정상적으로 보여도 실제 요청을 막을 수 있기 때문에 파일만 확인해서는 알 수 없다.

| 차단 종류 | 어디서 일어나나 | robots.txt만 봐서 확인되나 |
|---|---|---|
| robots.txt Disallow 줄 | 파일 자체 | 그렇다 |
| 관리자 설정(노출 방지 체크박스 등) | 관리자 화면 → 파일에 자동 반영 | 반영된 뒤라면 그렇다 |
| 호스팅 방화벽·봇 트래픽 차단 | 서버 앞단 | 아니다, 파일은 그대로여도 요청이 걸러진다 |

## 사장님이 직접 확인하려면 어떻게 하나?

가장 먼저 브라우저 주소창에 `우리도메인/robots.txt`를 입력하면 된다. 화면에서 GPTBot·ChatGPT-User·ClaudeBot·PerplexityBot 같은 AI 봇 이름이 있는지 확인한다.

AI 봇 이름이 있다면 그 옆의 규칙을 본다. `Disallow: /`라면 전체 차단이고, 특정 경로만 적혀 있다면 그 경로만 차단하는 설정이다.

워드프레스닷컴이라면 설정 화면도 함께 봐야 한다. 「설정 → 읽기」에서 노출 방지나 제3자 공유 제한과 관련된 항목이 켜져 있는지 확인하면 된다.

여기까지는 사장님이 직접 확인할 수 있다. 다만 방화벽까지 확인하려면 개발자에게 AI 봇 이름을 흉내 낸 요청을 보내 달라고 하면 된다. 응답이 200이 아니라 403이나 503으로 나온다면 방화벽 차단 여부를 추가로 살펴봐야 한다.

| 단계 | 방법 | 확인 포인트 |
|---|---|---|
| 1 | 「우리도메인/robots.txt」를 브라우저에 직접 입력 | GPTBot·ChatGPT-User 등 AI 봇 이름이 적혀 있는지 |
| 2 | 이름 옆의 줄을 읽는다 | Disallow: /(전체 차단)인지 일부 경로인지 |
| 3 | 워드프레스면 설정 → 읽기 화면 확인 | 노출 방지·제3자 공유 제한 체크 여부 |
| 4 | 개발자에게 봇 이름을 흉내 낸 요청을 부탁 | 응답이 200이 아니라 403·503이면 방화벽 차단 |

결국 "홈페이지를 만든 제작사가 AI 봇을 처음부터 막아놓았다"라고 단정할 근거는 없다. 기본 robots.txt만 보면 워드프레스·윅스·카페24 모두 AI 봇을 따로 막지 않는다.

반대로 robots.txt가 열려 있다고 해서 무조건 AI가 홈페이지를 읽을 수 있는 것도 아니다. 사람이 켠 설정과 서버 앞단의 방화벽이 따로 작동할 수 있기 때문이다.

요점 ① 워드프레스·윅스·카페24 3곳의 기본 robots.txt에는 AI 봇 차단 줄이 없다. ② 클라우드플레어 조사에서 확인된 3,816곳 중 86%는 AI 봇 관련 설정이 없었다. ③ 워드프레스닷컴은 제3자 공유 제한을 켜면 AI 봇이 차단 목록에 추가되고, 카페24는 봇 트래픽 차단 기능이 따로 있다. ④ 홈페이지 확인은 robots.txt 1단계, 관리자 설정 2단계, 방화벽 요청 확인 3단계로 나눠서 해야 한다.

## 같이 읽을 글

 

- GPTBot이 찍히면 우리 회사가 AI 답에 나온 걸까?

- 주제는 맞는데, 왜 AI는 우리 페이지를 인용하지 않을까?

- 스키마만 넣으면 AI가 우리 홈페이지를 잘 읽을까?
 

## 자료 출처

 

- From Googlebot to GPTBot: Who's crawling your site in 2025(클라우드플레어·2025.6.6·상위 1만 도메인 중 robots.txt 확인 3,816곳)

- More Control Over the Content You Share(워드프레스닷컴·2024.2.27 발표)

- Blocking AI Crawlers from Your Site(윅스 고객센터)

- Editing Your Site's Robots.txt File(윅스 고객센터)

- Request that AI models exclude your site(스퀘어스페이스 고객센터)

- robots.txt - SEO 용어(카페24 쇼핑몰 SEO 안내·이커머스SEO)

- 검색로봇 접근제어 설정 : 구글쇼핑 등록 가이드(카페24)(이니셔티브)