AI가 우리 홈페이지 글을 가져가면 돈을 받을 수 있나?

AI가 홈페이지 글을 가져간다고 해서 곧바로 돈을 받는 것은 아니다. 실제로 크롤 한 번에 값을 매기는 장치는 나왔지만, 실험에서 글 한 편 값은 수센트 수준이었다. 작은 회사 홈페이지라면 지금은 글값을 받는 것보다 AI 답에 홈페이지가 인용되는 쪽이 더 중요하다.

AI가 글을 가져가면 고객은 덜 오는 게 사실인가?

검색엔진은 홈페이지를 읽고 고객을 원문으로 보냈다. AI는 홈페이지를 읽은 뒤 답을 직접 만들어 주기 때문에 고객이 원문까지 들어오지 않을 수 있다.

클라우드플레어가 2025년 1월과 7월의 데이터를 비교한 결과도 이 차이를 보여준다. 2025년 7월 기준으로 구글은 사람이 한 명 들어올 때까지 페이지를 5.4번 가져갔지만, 오픈AI는 1,091번, 앤트로픽은 38,065번 가져갔다.

특히 AI 봇이 홈페이지를 가져간 목적 가운데 2025년 7월에는 학습이 79%, 검색이 17%, 사용자 요청에 따른 접속이 3.2%였다. 홈페이지를 많이 읽어 가는 것과 실제 고객을 보내주는 것은 같은 일이 아니다.

그럼 AI 회사에게 글값을 받을 방법은 있나?

방법은 이미 나왔다. 클라우드플레어는 2025년 7월 1일 「pay per crawl」을 비공개 시범으로 열었다.

사이트 주인이 페이지를 한 번 가져갈 때 받을 값을 정해 두고, 값을 내겠다는 신호를 보내지 않은 봇에는 「402 결제 필요」를 돌려주는 방식이다. 봇마다 무료 허용, 유료, 차단을 따로 정할 수도 있고, 클라우드플레어가 요금을 걷어 사이트에 나눠준다.

다만 아무 봇이나 자동으로 돈을 내는 구조는 아니다. 봇을 운영하는 쪽도 클라우드플레어에 등록하고 요청마다 전자서명을 붙여야 한다.

robots.txt나 약관으로 AI 학습과 대량 크롤링을 제한하는 방법도 있다. 2025년 12월에는 학습·색인·검색별 조건과 값을 표시하는 RSL 1.0 표준도 나왔다.

실제로 글 한 편에 얼마를 받을 수 있나?

한 연구에서는 독일 기술 매체 HardwareLuxx의 글 8,939편을 대상으로 이 문제를 실험했다. 연구진은 30일 동안 AI 봇이 실제로 가져간 횟수를 바탕으로 글마다 값을 정하고, 1,729편을 대상으로 가격을 비교했다.

가장 단순하게 모든 글에 같은 값을 매기면 시험 수익은 160달러였다. 글을 리뷰와 뉴스로 나누면 179달러, 매체가 붙인 8개 분류로 나누면 189달러가 됐다.

글 내용을 읽고 서로 다른 가격이 나올 만한 글끼리 다시 나눈 LM-Tree 방식에서는 264달러가 나왔다. 한 가지 값보다 65% 많았고, 매체 자체의 8개 분류보다도 40% 많았다.

하지만 여기서 숫자를 크게 받아들이면 안 된다. 이 264달러는 실제로 AI 회사가 지불한 돈이 아니라 실험에서 계산한 예상 수익이다.

비싼 글과 싼 글은 무엇이 다른가?

연구에서 가격을 가른 기준은 매체가 붙인 분류가 아니었다. 글 안에 어떤 구체적인 내용이 들어 있는지가 더 중요했다.

예를 들어 뉴스는 「1,000달러 이상 제품을 다루는가」에 따라 나뉘었다. 리뷰는 「고급 그래픽카드 사양이 나오는가」에 따라 가격이 달라졌다.

즉 AI가 값을 높게 매길 만한 글은 막연한 소개글이 아니라 구체적인 사실이 들어 있는 글이었다. 가격, 사양, 조건처럼 AI가 답을 만들 때 직접 사용할 수 있는 정보가 중요하다는 뜻이다.

작은 회사 홈페이지도 크롤 값을 받을 수 있나?

원칙적으로는 가능하다. 하지만 작은 홈페이지에서는 금액부터 계산해 보는 편이 낫다.

시험 결과의 264달러를 1,729편으로 나누면 글 한 편당 약 0.15달러다. 30쪽짜리 홈페이지에 단순히 대입하면 약 4.6달러 수준이다. 실제 거래 금액이 아니라 논문 숫자를 이용한 예상치이고, 그 매체처럼 봇이 자주 찾아온다는 전제가 붙는다.

반면 고객을 AI 답에서 얻는 가치는 별개의 문제다. 검색용 봇에게 값을 매겨 접근을 막으면 AI가 홈페이지를 답의 근거로 쓰기 어려워질 수 있다.

실제로 2025년 9월 16일 챗GPT 답에 인용된 31건 가운데 10건은 업체 자기 홈페이지였다. 반대로 AI 봇 9종을 막은 네이버 블로그는 인용이 0건이었다.

그래서 동네 가게나 작은 회사라면 검색용 봇까지 돈을 받겠다고 막는 선택은 신중해야 한다. 고객이 AI에게 업체를 물었을 때 홈페이지가 답에 들어가는 것이 더 중요한 경우가 많기 때문이다.

그럼 작은 홈페이지는 어떻게 하는 게 좋나?

가장 현실적인 방법은 봇의 목적을 나눠 보는 것이다. 검색용 봇은 열어 두고, 학습용 봇을 허용할지는 따로 판단할 수 있다.

크롤 과금은 글이 많고 봇이 자주 오는 매체에 더 잘 맞는다. 고객을 AI 답에서 데려와야 하는 가게나 작은 회사라면 검색용 봇을 열어 두는 쪽이 더 맞을 수 있다.

또 하나 먼저 할 일은 홈페이지에 정보를 제대로 적는 것이다. 연구에서도 가격을 가른 것은 「하드웨어」 같은 분류가 아니라 1,000달러 이상 제품이나 고급 그래픽카드 사양처럼 글 안에 들어 있는 구체적인 사실이었다.

결국 지금 작은 홈페이지가 신경 쓸 것은 「AI가 한 번 가져갈 때 얼마를 받을까」보다 「AI가 우리 정보를 읽고 고객에게 제대로 말해줄 수 있을까」에 가깝다. 크롤 과금은 생겼지만, 작은 홈페이지에서는 아직 글값보다 AI 답에 나오는 일이 더 크다.

같이 읽을 글

• AI가 홈페이지를 읽게 하면서 학습은 막을 수 있을까?
• AI 검색에 돈을 따로 써야 할까?
• 우리 홈페이지가 AI 보고서에 쓰였는데, 왜 출처에는 안 나올까?
• 가격을 바꿨는데 왜 AI에는 예전 가격이 나올까?

자료 출처

• Pay-Per-Crawl Pricing for AI: The LM-Tree Agent(예일대 Archer·Ghili·Haghpanah, arXiv 2604.01416, 2026.4 제출, HardwareLuxx 글 8,939편·가상 요청 80,451건)
• 같은 논문 본문 HTML(봇별 30일 요청 수·묶음별 가격·값 산식)
• The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals(클라우드플레어, 2025.8, Cloudflare Radar 2025.1~7)
• Introducing pay per crawl(클라우드플레어, 2025.7, 비공개 시범·402 응답·봇 등록 방식)
• Cloudflare's new policy pushes AI companies to pay for publishers' content(테크크런치, 2026.7, 2026.9.15 혼합 봇 기본 차단·Pay Per Use)
• RSL 1.0 정식 규격 발표(RSL Collective, 2025.12, 지지 1,500곳 이상)
• 한국일보, 국내 언론 첫 'AI 및 대량 크롤링 방지' 약관 신설(기자협회보)