홈페이지를 만든 곳이 AI 봇을 막으면 어떻게 될까?
홈페이지 문이 열려 있어도 중계망에서 막힐 수 있다
홈페이지를 직접 만드는 사장님은 드물다. 대부분 카페24·아임웹·윅스·워드프레스 같은 도구를 쓴다. 이때 AI 봇의 출입은 홈페이지를 만든 도구와 설정에 따라 달라진다. 2026년 9월 20일 확인한 결과, 9곳 가운데 대부분은 열려 있었지만 클라우드플레어를 거치면 기본적으로 막힐 수 있었다.
문을 잠근 곳이 홈페이지 제작 도구인지 중계망인지 5분이면 확인할 수 있다.
카페24나 아임웹에서 만들면 AI가 읽을 수 있나?
대부분은 읽을 수 있다. 확인한 도구 가운데 카페24·아임웹·윅스·워드프레스닷컴·식스샵·크리에이터링크·구글 사이트는 기본적으로 모든 봇을 허용하고 있었다.
카페24는 특히 AI 봇을 구체적으로 적어 두었다. GPTBot·OAI-SearchBot·ClaudeBot·PerplexityBot·Google-Extended 등을 포함해 AI 봇 10종에 `Allow: /`를 적용하고 있다. 관리자·회원·장바구니 영역은 제외한다. llms.txt 주소도 안내한다.
아임웹은 견본 사이트에서 모든 봇을 허용하고 있었다. 가입·로그인·장바구니만 제외한다. 윅스도 기본적으로 모든 봇을 허용하지만, SEO 도구의 robots 편집기에서 사장님이 직접 바꿀 수 있다.
| 도구 | 어디를 봤나 | AI 답변 봇(GPTBot· | 판정 |
|---|---|---|---|
| 카페24 | www.cafe24.com/robots.txt(2026년 6월 2일 갱신) | 10종 이름을 적고 Allow: / — 관리자· | 열림(가장 적극적) |
| 아임웹 | 견본 사이트 sample.imweb.me | 모든 봇 허용, 가입· | 열림 |
| 윅스 | 견본 사이트 *.wixsite.com | 모든 봇 허용. 「SEO 도구 > robots 편집기에서 바꿀 수 있음」 안내 | 열림(사장님이 잠글 수 있음) |
| 워드프레스닷컴 | wordpress.com | 모든 봇 허용 | 열림 |
| 식스샵 | www.sixshop.com | 모든 봇 허용 | 열림 |
| 크리에이터링크 | www.creatorlink.net | 모든 봇 허용 | 열림 |
| 구글 사이트 | sites.google.com | 모든 봇 허용 | 열림 |
| 스퀘어스페이스 본사 | www.squarespace.com | GPTBot· | 본사는 학습 봇 잠금. 고객 사이트는 기본 열림, 설정에서 잠글 수 있음 |
| 클라우드플레어(속도· | 2025년 7월 1일 발표 | 새 도메인은 기본값 「AI 크롤러 차단」, 기존 고객은 클릭 한 번으로 차단 | 도구가 아니라 중계망에서 잠김 |
따라서 홈페이지를 어디서 만들었는지만 보고 AI에 노출되는지 판단하면 안 된다. 실제 설정까지 봐야 한다.
그런데 왜 어떤 홈페이지는 AI 봇이 못 들어가나?
첫 번째는 사장님이나 제작사가 AI 크롤러 차단 설정을 켠 경우다. 윅스와 스퀘어스페이스에는 이런 설정이 있다.
스퀘어스페이스 본사 사이트는 GPTBot·ClaudeBot·anthropic-ai·CCBot·Google-Extended·Bytespider 등을 차단하고 있었다. 다만 고객이 만든 사이트는 기본적으로 열려 있고, 설정으로 잠글 수 있다.
두 번째는 홈페이지 앞에 클라우드플레어 같은 중계망을 두는 경우다. 이때는 홈페이지의 robots.txt만 보고 안심하면 안 된다. robots.txt에 차단 규칙이 없어도 중계망에서 AI 봇의 접속을 막을 수 있기 때문이다.
클라우드플레어는 2025년 7월 1일부터 새 도메인에 AI 크롤러 기본 차단을 적용했다. 기존 고객도 클릭 한 번으로 차단할 수 있다. 발표 당시 고객 100만 곳 이상이 참여했고, 세계 상위 1,000개 사이트의 35%가 동참했다.
| 항목 | 내용 |
|---|---|
| 무엇 | 세계 웹사이트의 상당수가 속도· |
| 2025년 7월 1일 | 「새 도메인은 AI 크롤러를 기본으로 차단, 크롤러는 허락을 받아야 함」으로 바꿈. 크롤 한 번마다 돈을 받는 「페이 퍼 크롤」 시범 |
| 규모 | 고객 100만 곳 이상 참여, 세계 상위 1,000개 사이트의 35%가 동참(발표 당시) |
| 2025년 8월 4일 | 퍼플렉시티가 「몰래 크롤러로 차단을 우회한다」고 공개 지적 |
| 2026년 8월(우리 데이터 뱅크) | AI 답변이 원문으로 보내는 클릭은 전체의 1% 미만, 오픈AI는 크롤 233번에 방문 1번 |
퍼플렉시티는 2025년 8월 4일 클라우드플레어의 차단을 우회하는 크롤러 문제를 공개적으로 지적했다. 이처럼 AI 봇과 중계망 사이에서도 실제 접속 여부가 달라질 수 있다.
우리 홈페이지가 열려 있는지 어떻게 확인하나?
가장 먼저 주소창에 홈페이지 주소 뒤에 `/robots.txt`를 붙여 본다. GPTBot·OAI-SearchBot·ClaudeBot·PerplexityBot·Google-Extended 옆에 `Disallow: /`가 있는지 확인한다.
다음으로 홈페이지를 만든 도구의 관리 화면을 확인한다. 윅스나 스퀘어스페이스처럼 AI 크롤러 또는 검색엔진 노출 설정을 바꿀 수 있는 곳은 해당 스위치를 확인해야 한다. 워드프레스도 사용하는 플러그인에 따라 설정이 달라질 수 있다.
그다음 제작사에 한 줄만 물어보면 된다. 클라우드플레어나 다른 중계망을 쓰는지, AI 봇 차단이 켜져 있는지를 확인하면 된다.
마지막으로 빙 웹마스터 도구에 등록하고 AI 성과 보고서를 확인할 수 있다. 챗GPT 인용 숫자가 0이 아닌지 보는 방법이다.
| 순서 | 하는 법 | 이러면 통과 |
|---|---|---|
| 1 | 주소창에 `우리주소/robots.txt` | GPTBot· |
| 2 | 도구 관리 화면에서 「AI 크롤러」「검색엔진 노출」 스위치 확인(윅스· | 꺼져 있지 않음 |
| 3 | 제작사에 「클라우드플레어나 다른 중계망을 쓰나요, AI 봇 차단이 켜져 있나요」 한 줄 질문 | 「꺼져 있다」 확답 |
| 4 | 빙 웹마스터 도구에 등록 뒤 「AI 성과」 보고서 | 챗GPT 인용 숫자가 0이 아님 |
오픈AI는 공식 안내에서 답변에 나오고 싶다면 OAI-SearchBot을 막지 말라고 안내한다. 구글은 AI 기능을 위해 특별한 파일이 필요한 것은 아니며, 색인만 되면 된다고 안내한다. 결국 기본 조건은 AI가 홈페이지에 접근할 수 있어야 한다는 것이다.
홈페이지를 새로 만든다면 무엇을 확인해야 하나?
새로 홈페이지를 만든다면 AI 봇 규칙을 명시한 도구를 선택하거나 robots를 직접 고칠 수 있는 도구를 선택하는 방법이 있다.
이미 홈페이지가 있다면 굳이 바꿀 필요는 없다. 현재 홈페이지의 robots.txt와 관리 화면을 확인하고, 제작사에 중계망과 AI 봇 차단 여부를 물어보면 된다.
제작사가 AI 차단이 보안에 좋다고 안내한다면 봇을 전부 막는 방법만 있는 것은 아니다. 학습 봇인 GPTBot·CCBot은 막고, 답을 찾는 OAI-SearchBot·ChatGPT-User·PerplexityBot은 열어 두는 방식도 있다.
네이버 블로그나 스마트스토어만 운영하고 있다면 이야기가 다르다. 이 경우는 홈페이지 제작 도구의 문제가 아니라 플랫폼이 출입을 정하는 문제다. 자기 홈페이지가 필요하다.
| 상황 | 판단 |
|---|---|
| 새로 만든다 | 카페24처럼 AI 봇 규칙을 명시한 도구, 또는 robots를 직접 고칠 수 있는 도구 |
| 이미 있다 | 바꿀 필요 없음. 위 4단계만 확인 |
| 제작사가 「AI 차단이 보안에 좋다」고 함 | 학습 봇(GPTBot· |
| 네이버 블로그· | 도구 문제가 아니라 플랫폼이 잠근 것 — 자기 홈페이지가 필요 |
AI사이트코리아는 동네 사장님의 홈페이지를 AI가 읽고 답변에 넣을 수 있도록 만드는 일을 다룬다. 중요한 것은 홈페이지를 어디에서 만들었느냐보다 실제로 AI 봇이 들어올 수 있는 상태인지 확인하는 것이다.
요점 ① 9곳을 확인한 결과 카페24·아임웹·윅스 등 대부분의 도구는 기본적으로 AI 봇에 열려 있다. ② 카페24는 AI 봇 10종을 허용하고 llms.txt 주소까지 안내한다. ③ 클라우드플레어는 2025년 7월 1일부터 새 도메인을 AI 크롤러 기본 차단으로 설정했다. ④ 5분이면 robots.txt·도구 설정·제작사 확인·빙 AI 성과까지 4가지 방법으로 점검할 수 있다.
같이 읽을 글
- 지금 있는 홈페이지, AI가 가져가게 하려면 무엇부터 고칠까
- 네이버 블로그 글은 왜 챗GPT 답에 안 나올까?
- GEO 기초 작업 일곱 가지, 스타트업 기준으로 다시 검사했다
- AI가 우리 가게를 아는지, 오늘 10분 안에 확인하는 법
자료 출처
- 카페24 robots.txt(2026년 6월 2일 갱신 — AI 봇 10종 Allow, llms.txt 안내)
- 스퀘어스페이스 robots.txt(GPTBot·ClaudeBot·Google-Extended 등 차단)
- 윅스 견본 사이트 robots.txt(전체 허용, 편집기 안내)
- 아임웹 견본 사이트 robots.txt(전체 허용)
- 워드프레스닷컴 robots.txt
- 클라우드플레어 보도자료 「Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large」(2025년 7월 1일)
- 클라우드플레어 블로그 「Content Independence Day」(2025년 7월 1일)
- 클라우드플레어 「퍼플렉시티가 로봇 안내문을 무시하는 숨은 크롤러를 쓴다」(2025년 8월 4일)
- 오픈AI 「Publishers and Developers FAQ」 — OAI-SearchBot을 막지 말 것
작성일
← 칼럼 목록