AI가 홈페이지를 읽게 하면서 학습은 막을 수 있을까?

AI가 홈페이지를 읽게 하면서 학습만 막는 방법은 아직 정해진 표준이 없다. robots.txt는 봇이 특정 페이지를 읽어도 되는지만 정한다. 새로 나온 terms.txt는 학습·검색·대리 이용 등에 조건과 가격을 붙이는 제안이지만, 아직 표준은 아니다.

홈페이지를 열어두면 AI가 얼마나 가져갈까?

AI가 홈페이지를 읽는 양은 일반 검색보다 훨씬 많다. 2026년 중반 기준으로 일반 검색은 고객 1명을 보내면서 약 5쪽을 가져가지만, AI 플랫폼은 수백 쪽에서 수천 쪽까지 가져간다.

숫자는 측정 시점과 방법에 따라 달라진다. 특히 이 수치는 독립 연구자가 공개 측정치를 모아 정리한 것으로, 측정 기간과 출처에 따라 차이가 날 수 있다.

왜 AI는 많이 가져가고 고객은 적게 올까?

이유 중 하나는 AI가 홈페이지를 가져가는 목적이 검색만은 아니기 때문이다. 클라우드플레어가 분류한 AI 봇 요청을 보면 학습 목적의 비중은 2024년 7월 72%에서 2025년 7월 79%로 늘었고, 검색 목적은 26%에서 17%로 줄었다.

검색 결과에서 AI가 내용을 먼저 보여주는 것도 영향을 줄 수 있다. 퓨 리서치센터가 2025년 3월 미국 성인 900명의 검색 68,879건을 살핀 결과, AI 요약이 나온 검색에서 일반 결과를 누른 비율은 8%였다.

AI 요약이 없을 때는 15%였다. 요약 안에 표시된 출처 링크를 누른 비율은 1%였다. 다만 퓨는 이 자료만으로 AI 요약이 클릭 감소의 원인이라고 단정하지 않았다.

robots.txt에 조건까지 적으면 안 될까?

robots.txt로는 어렵다. robots.txt는 특정 봇이 특정 경로를 읽어도 되는지 정하는 방식이지, 학습은 금지하고 답변 인용은 허용하는 식의 조건을 정하는 방식이 아니다.

또 robots.txt는 서버가 강제로 막는 장치도 아니다. 봇이 실제로 자기 이름대로 움직이는지 확인하는 기능도 없다.

그래서 문제가 생긴다. 학습용 봇만 막고 싶어도 검색과 AI에 함께 쓰이는 봇을 막으면 검색 노출까지 영향을 받을 수 있다.

구글도 이런 겸용 문제와 관련이 있다. 외부 유입 가운데 구글 비중은 약 88%이고, 구글 봇 하나가 검색과 AI 양쪽에 쓰인다. 구글을 막지 않고 AI 이용만 따로 막는 것이 간단하지 않은 이유다.

terms.txt는 robots.txt와 무엇이 다른가?

terms.txt는 홈페이지 주인이 `/.well-known/terms.txt`에 이용 조건을 적는 방식이다. 제안서에서는 검색, 대리 봇, AI 학습, 기록 보관, 연구라는 다섯 가지 목적을 나누고, 목적과 경로에 따라 허용·유료·거절을 정한다.

예를 들어 일반 글은 검색과 인용 수준의 이용을 허용하고, 학습에는 가격을 붙일 수 있다. 프리미엄 경로는 대리 봇에는 비용을 받고 허용하면서 학습은 거절하는 식이다.

봇은 자신의 회사 서명과 이용 목적을 함께 보내는 방식이다. 서버는 서명을 확인하고 조건에 맞으면 내용을 주거나, 유료라면 402와 가격을 돌려주는 구조다.

다만 이것도 한계가 있다. 서명은 누가 요청했는지는 확인할 수 있지만, 그 요청이 실제 목적대로 사용됐는지까지 증명하지는 못한다. 내용이 서버를 떠난 뒤 학습에 쓰였는지는 계약의 영역이고, 서명하지 않는 봇을 막아주는 장치도 아니다.

작은 홈페이지도 terms.txt를 지금 써야 할까?

형식상 파일을 만들어 공개하는 것은 가능하다. 하지만 2026년 9월 현재 terms.txt는 표준이 아니며, 확인된 자료에서는 이 파일을 읽겠다고 밝힌 AI 회사도 없다.

서버 부담 자체는 크지 않은 것으로 측정됐다. 제안서의 시험에서는 요청 1건마다 조건에 따라 0.015~0.650ms의 추가 시간이 걸렸다.

하지만 이 시험은 가상 CPU 1개에서 암호화 통신 없이 진행됐다. 실제 인터넷 환경에서 같은 결과가 나온다고 볼 수는 없다.

그럼 지금은 어떻게 설정해야 할까?

지금 바로 사용할 수 있는 것은 robots.txt다. 봇을 한꺼번에 막기보다 GPTBot, OAI-SearchBot, ChatGPT-User처럼 용도가 다른 봇을 구분해서 적는 것이 현실적인 방법이다.

OAI-SearchBot을 막으면 챗GPT 검색 답변에 홈페이지가 나오지 않을 수 있다. 반면 GPTBot은 학습용으로 쓰이고, ChatGPT-User는 사용자의 요청에 따라 움직이므로 robots.txt가 적용되지 않을 수 있다.

콘텐츠 신호를 함께 적는 방법도 있다. 클라우드플레어는 380만 개가 넘는 도메인에 `search=yes`, `ai-train=no`를 처음 설정으로 넣었다.

이용약관과 robots.txt의 내용도 맞춰야 한다. 조사된 도메인 14,000곳에서는 두 문서가 서로 다른 내용을 담은 경우가 많았다.

결국 사장님이 지금 할 일은 무엇일까?

목표가 AI 답변에 홈페이지가 인용되는 것이라면 검색용 봇까지 막아서는 안 된다. 학습용 봇을 허용할지는 별도로 정하면 된다.

terms.txt는 지금 당장 효과가 생기는 표준 설정으로 보기 어렵다. 지금은 robots.txt와 이용약관을 같은 방향으로 맞추고, 필요한 경우 콘텐츠 신호를 추가하는 정도가 현실적이다.

같이 읽을 글

• 네이버에 올린 가게 정보, 이제 챗GPT에는 안 나오는 건가?
• 홈페이지를 못 읽으면 AI는 우리 가게를 어떻게 설명할까?
• 챗GPT에서 고객이 오는 길, 지금 챙겨야 할까?
• 우리 가게에 온 AI 고객은 왜 통계에서 안 보일까?

자료 출처

• terms.txt: A Consent and Compensation Protocol for Agentic Web Access(독립 연구자 Rajarshi Chowdhury·arXiv 2609.11152·2026년 9월)
• A deeper look at AI crawlers: breaking down traffic by purpose and industry(클라우드플레어·2025년·레이더 봇 목적 분류)
• Control content use for AI training with Cloudflare's managed robots.txt and blocking for monetized content(클라우드플레어·2025년·상위 1만 도메인 robots.txt 37%, GPTBot 금지 7.8%)
• Google users are less likely to click on links when an AI summary appears in the results(퓨 리서치센터·2025년 7월·미국 성인 900명, 검색 68,879건)
• Consent in Crisis: The Rapid Decline of the AI Data Commons(Longpre 외·arXiv 2407.14933·2024년 7월·도메인 14,000개)
• AI Preferences(aipref) 작업반 소개(IETF·2026년)
• A Vocabulary For Expressing AI Usage Preferences(IETF aipref 초안 8판·2026년 9월)
• Overview of OpenAI Crawlers(오픈AI 공식 문서·GPTBot·OAI-SearchBot·ChatGPT-User)
• Cloudflare accuses AI search engine Perplexity of using stealth and undeclared crawlers(Intelligent CISO·2025년 8월)
• Cloudflare updates robots.txt with new AI content controls(Windows Central·2025년·Content Signals 380만 도메인)
• The Crawl-to-Refer Ratio: Measuring AI's Impact on Your Website Traffic(Adyog 블로그·클라우드플레어 레이더 2025년 1~7월 수치 정리, 숫자 대조용)