AI가 홈페이지에 오면 막아야 할까?

작은 가게라면 AI 봇을 전부 막지 않는 편이 낫다. AI 크롤링의 80%는 학습용이지만 검색용이 18%, 고객 대리 방문도 2%를 차지하기 때문이다. 특히 고객이 AI에게 예약을 부탁하는 시대에는 어떤 AI가 왜 들어오는지 나눠서 봐야 한다.

AI가 홈페이지에 왜 오는 걸까?

홈페이지에 오는 AI는 모두 같은 역할을 하지 않는다. AI 모델을 학습하려고 글을 모으는 수집기가 있고, AI 검색 결과에 넣을 정보를 찾는 수집기도 있다. 고객 한 사람의 부탁을 받고 대신 홈페이지를 방문하는 AI도 있다.

클라우드플레어가 집계한 12개월 평균을 보면 학습용이 80%, 검색용이 18%, 고객 대리가 2%다. 지금 가장 많은 것은 학습용이지만, 가게 입장에서 중요한 것은 비율만이 아니다. 검색용과 고객 대리 AI가 들어올 길까지 함께 닫히는지가 중요하다.

그럼 AI를 전부 막으면 안 되나?

AI를 전부 막으면 학습용 수집기는 막을 수 있다. 하지만 검색용 수집기도 함께 막혀 가게가 AI 답변에 나올 길이 줄어든다. 고객이 AI에게 영업시간이나 예약 가능 여부를 알아봐 달라고 했을 때도 홈페이지를 제대로 읽지 못할 수 있다.

큰 언론사처럼 학습용 수집을 막는 것이 중요한 곳과 작은 가게의 상황은 다르다. 작은 가게는 홈페이지가 AI가 가게 정보를 확인할 수 있는 중요한 통로가 될 수 있다.

AI 봇도 종류별로 다르게 봐야 하나?

그렇다. 가장 먼저 학습용과 검색용을 구분해야 한다. GPTBot은 오픈AI의 학습용 수집기이고, OAI-SearchBot은 챗GPT 검색에 사이트를 띄우기 위한 수집기다.

고객 대리 AI는 성격이 다르다. ChatGPT-User나 Google-Agent처럼 고객의 요청을 받아 페이지를 열거나 행동하는 경우가 있기 때문이다. 이 방문을 악성 봇과 똑같이 취급하면 실제 고객을 대신해 온 AI까지 막을 수 있다.

요즘 고객 대리 AI가 많이 오나?

아직 전체 AI 방문에서 차지하는 비중은 작다. 클라우드플레어 집계에서는 고객 대리 방문이 2024년 7월 2%에서 2025년 7월 3.2%로 늘었다.

같은 기간 학습용은 72%에서 79%로 늘었고, 검색용은 26%에서 17%로 줄었다. 지금 서버에 가장 많은 요청을 보내는 쪽은 학습용이지만, 고객을 대신해 움직이는 AI도 이미 별도의 방문 유형으로 잡히고 있다.

robots.txt 하나로 정리하면 안 되나?

robots.txt만으로 모든 AI를 구분해서 막기는 어렵다. robots.txt는 방문자가 누구인지 확인하거나, 방문 목적에 따라 권한을 세밀하게 나누는 장치가 아니기 때문이다.

실제로 AI마다 적용 방식도 다르다. GPTBot과 OAI-SearchBot은 robots.txt를 따르지만, ChatGPT-User는 적용되지 않을 수 있다. Google-Agent도 고객이 직접 요청한 방문이라는 이유로 robots.txt를 따르지 않는다.

그래서 홈페이지에 AI 전부 금지라고 적어 놓는 것만으로는 원하는 결과가 나오지 않는다. 오히려 검색용 AI는 막으면서 고객 대리 AI는 제대로 통제하지 못할 수 있다.

캡차는 어디에 걸어야 하나?

페이지를 읽는 단계부터 캡차를 걸면 AI 비서가 고객 대신 정보를 확인하기 어렵다. 고객이 AI에게 "이번 주 토요일 2명 예약 가능한지 봐 줘"라고 시켰는데 AI라는 이유로 문 앞에서 막히는 상황이 생길 수 있다.

작은 가게라면 페이지 보기까지 막기보다 글 작성이나 결제처럼 꼭 확인이 필요한 단계에 캡차를 두는 편이 낫다. 과도한 요청은 속도 제한으로 줄이는 방법도 있다.

홈페이지는 무엇을 열어 둬야 하나?

먼저 가격, 영업시간, 예약 조건처럼 고객이 자주 확인하는 정보를 글자로 적어 두는 것이 좋다. 이미지 안에만 넣으면 고객 대리 AI가 바로 읽기 어렵다.

또 호스팅이나 CDN에서 AI 봇 차단이 켜져 있는지도 확인해야 한다. 클라우드플레어는 2025년 7월부터 무료 요금제에도 기본 차단을 적용했기 때문에 모르는 사이 홈페이지 문이 닫혀 있을 수 있다.

네이버에만 가게 정보를 올려도 되나?

플랫폼에만 정보를 올려 두는 것보다 자기 홈페이지를 열어 두는 것이 중요하다. 2026년 9월 16~20일 확인에서는 네이버 블로그·스마트스토어·네이버쇼핑이 robots.txt에서 AI 봇 9종을 모두 막고 있었고, 쿠팡은 403 오류로 접근을 거부했다.

같은 기간 챗GPT 답변의 인용 31건 가운데 가게나 회사의 자기 홈페이지는 10건이었고 네이버 블로그는 0건이었다. 자기 홈페이지를 AI가 읽을 수 있게 만들어 두는 것이 출발점이다.

작은 가게는 결국 어떻게 하면 되나?

학습용 AI까지 꼭 받아들일 필요는 없다. 학습용인 GPTBot은 가게의 판단에 따라 막고, 검색용인 OAI-SearchBot은 허용하는 식으로 나눌 수 있다.

고객 대리 AI까지 막을 필요도 없다. 대신 과도한 요청은 속도 제한으로 막고, 접속 기록을 봇 이름별로 확인하면 된다. 핵심은 AI를 전부 열거나 전부 닫는 것이 아니라 목적별로 문을 나누는 것이다.

이 논문도 그대로 정답으로 받아들일 필요는 없다. 실험 논문이 아니라 제안 논문이고, 논문 속 차단·클릭 관련 숫자는 클라우드플레어·셈러시·시스트릭스 자료를 다시 인용한 것이다. agents.txt나 AI 전용 문서 형식 같은 제안도 아직 표준이 아니다.

그래도 작은 가게가 가져갈 결론은 분명하다. 학습용 수집을 막고 싶다면 막되 검색용과 고객 대리 방문까지 한꺼번에 막아서는 안 된다. AI가 고객 대신 가게를 찾고 정보를 확인하는 길은 열어 두는 편이 낫다.

같이 읽을 글

• AI가 홈페이지를 읽게 하면서 학습은 막을 수 있을까?
• AI 비서에게 홈페이지를 읽혀도 괜찮을까?
• AI가 고객을 데려오면 예약은 바로 이어질까?
• AI가 대신 사는 시대, 가게는 무엇부터 준비해야 할까?

자료 출처

• Towards an Agent-First Web: Redesigning the Web for AI Agents(Old Dominion University 외·arXiv 2606.19116·2026년 6월)
• The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals(클라우드플레어·2025년 8월·2024.7~2025.7 자사 네트워크)
• The age of agents: cryptographically recognizing agent traffic(클라우드플레어·2025년 8월·서명된 에이전트 첫 묶음 5개)
• Overview of OpenAI Crawlers(오픈AI 공식 문서·GPTBot·OAI-SearchBot·ChatGPT-User·OAI-AdsBot)
• Cloudflare will now by default block AI bots from crawling its clients' websites(MIT 테크놀로지 리뷰·2025년 7월)
• 클라우드플레어, 'AI 크롤러' 기본 차단… 허가 기반 접근으로(바이라인네트워크·2025년 7월)
• 클라우드플레어 AI 크롤러 기본 차단 조치 도입(CIO 코리아·2025년 7월)
• Google-Agent joins the crawler list as AI browsing gets an official identity(PPC Land·2026년 3월·구글 크롤러 문서 갱신)
• Google updates crawlers and user-triggered fetchers documentation(서치엔진랜드·구글 크롤러 문서 갱신)