홈페이지가 느리면 챗GPT에 덜 나올까?

홈페이지가 느리다고 해서 챗GPT 인용이 줄어든다고 단정할 근거는 아직 없다. 오히려 동네 가게 홈페이지에서는 로딩 속도보다 AI 봇이 홈페이지에 접근할 수 있는지, 필요한 정보가 화면 뒤에 숨지 않았는지가 먼저다. 실제 9월 16일 챗GPT 출처 31건 가운데 자기 홈페이지는 10건이었고, 네이버 블로그와 브런치는 0건이었다.

우리 가게도 크롤 예산을 걱정해야 할까

크롤 예산은 검색엔진이 사이트를 얼마나 자주, 얼마나 많이 가져갈 수 있는지를 관리하는 개념이다. 그런데 구글이 공식 문서에서 제시하는 크롤 예산 기준은 일반적인 동네 가게 홈페이지와 거리가 있다.

구글은 고유 페이지가 100만 개 이상이면서 주 1회 정도 바뀌거나, 고유 페이지가 1만 개 이상이면서 매일 바뀌는 사이트를 크롤 예산 관리가 필요한 대상으로 설명한다. 문서에서도 이 기준은 대략적인 기준이라고 밝힌다.

메뉴, 영업시간, 위치, 상품이나 서비스 소개 정도가 있는 일반적인 소상공인 홈페이지라면 이 기준에 크게 못 미친다. 그래서 이런 홈페이지는 크롤 예산을 먼저 걱정하기보다 AI가 들어올 수 있는지와 필요한 내용을 읽을 수 있는지를 확인하는 편이 중요하다.

홈페이지가 느리면 크롤도 줄어들까

느린 홈페이지가 아무 영향도 주지 않는다고 말할 수도 없다. 다만 현재 확인된 공식 자료는 구글봇에 대한 내용이고, 챗GPT나 클로드, 퍼플렉시티가 홈페이지 속도에 따라 얼마나 덜 읽는지를 보여주는 공식 수치는 공개돼 있지 않다.

구글 문서에서는 응답 지연이 늘어나거나 5xx 서버 오류, 429 요청 제한 신호가 발생하면 크롤 용량 제한이 낮아져 크롤이 감소할 수 있다고 설명한다. 반대로 서버가 빠르고 안정적으로 응답하면 크롤 용량 제한이 유지되거나 늘어날 수 있다고 설명한다.

따라서 홈페이지 속도 개선 자체는 의미가 있다. 하지만 그것을 곧바로 "코어 웹 바이탈 점수가 올라가면 AI 인용도 늘어난다"로 연결하기는 어렵다. AI 검색 서비스의 크롤링 방식과 인용 기준에 대해서는 아직 공개된 정량 자료가 부족하기 때문이다.

그런데 AI가 홈페이지 화면을 제대로 볼까

여기서 속도보다 더 중요한 문제가 나온다. 주요 AI 크롤러는 자바스크립트를 실행하지 않는다는 점이다.

버셀이 자사 CDN 네트워크를 분석한 자료에서는 최근 한 달 동안 GPTBot 요청이 5억 6,900만 건, 클로드 계열이 3억 7,000만 건으로 집계됐다. 그런데 같은 분석에서 챗GPT의 자바스크립트 파일 요청 비율은 11.50%, 클로드는 23.84%였다.

자바스크립트 파일을 내려받는 것과 그 안의 내용을 실행해 화면을 만드는 것은 다르다. 홈페이지에서 가격, 영업시간 같은 정보를 자바스크립트로 나중에 그려 넣는 방식이라면, AI 크롤러가 그 내용을 제대로 읽지 못할 수 있다.

이 경우에는 홈페이지가 빠르냐 느리냐보다 정보가 처음부터 HTML 안에 제대로 들어 있느냐가 먼저다. 화면에서는 멀쩡하게 보이는데 AI가 읽는 과정에서는 내용이 빠질 수 있기 때문이다.

우리 홈페이지가 아예 막혀 있으면 어떨까

속도 이전에 확인할 문턱이 하나 더 있다. AI 봇이 홈페이지에 들어오는 것 자체가 막혀 있으면 아무리 빠른 홈페이지라도 읽을 수 없다.

오픈AI는 GPTBot, OAI-SearchBot, ChatGPT-User를 구분한다. 이 가운데 OAI-SearchBot은 챗GPT 검색 노출과 관련된 봇이고, 이를 차단하면 챗GPT 검색 답변에 표시되지 않는다고 공식 문서에 적혀 있다.

실제로 9월 16일부터 20일까지 직접 확인한 결과에서도 접근 차이가 있었다. 네이버 블로그·스마트스토어·네이버쇼핑은 AI 봇 9종을 전부 차단했고, 쿠팡은 403 오류가 났다.

반대로 11번가와 지마켓은 허용했고, 브런치도 검색봇을 허용하고 있었다. 그런데 브런치는 실제 측정에서 인용이 0건이었다.

이것도 중요한 사실이다. AI 봇에게 문을 열어 놓는 것은 필요할 수 있지만, 문을 열었다고 해서 반드시 답변에 인용되는 것은 아니다.

실제 인용에서는 어떤 차이가 있었을까

9월 15일에는 4개 엔진에서 자체 사이트의 인용이 0건이었다. 다음 날인 9월 16일 다른 질문으로 챗GPT 답변의 출처 31건을 확인했을 때는 자기 홈페이지가 10건으로 가장 많았다.

같은 측정에서 정부 사이트는 3건, 티스토리는 1건이었고 네이버 블로그와 브런치는 0건이었다. 이 결과만으로 속도와 인용의 관계를 증명할 수는 없지만, 홈페이지가 AI에게 읽히는 환경을 갖추는 일이 중요하다는 점은 확인할 수 있다.

기술 SEO 요인과 AI 검색 인용의 상관관계를 조사한 자료에서도 비슷한 방향이 제시됐다. 인용 URL 500만 건을 분석한 조사에서는 AI가 페이지 전체의 로딩 속도보다 특정 문단의 관련성과 품질에 더 집중하는 경향이 나타났다.

다만 이것은 상관관계에 대한 조사이지 인과관계를 증명한 것은 아니다. 따라서 "속도는 필요 없다"도 아니고 "코어 웹 바이탈 점수를 올리면 AI 인용이 늘어난다"도 현재 자료만으로는 단정하기 어렵다.

결국 홈페이지를 점검할 때는 순서를 나눠 보는 것이 좋다. 먼저 AI 봇이 접근할 수 있는지 확인하고, 다음으로 중요한 정보가 자바스크립트 뒤에만 있지 않은지 살펴본다. 그다음 서버 오류나 지나친 응답 지연이 없는지 확인하면 된다.

코어 웹 바이탈 개선은 홈페이지의 전반적인 성능을 위해 챙길 수 있다. 다만 AI 인용을 늘리기 위한 첫 번째 작업이라고 보기에는 아직 근거가 부족하다.

같이 읽을 글

• GPTBot이 찍히면 우리 회사가 AI 답에 나온 걸까?
• 주제는 맞는데, 왜 AI는 우리 페이지를 인용하지 않을까?
• 왜 우리 홈페이지는 챗GPT 출처에는 나오는데 답에는 안 나올까?
• 스키마만 넣으면 AI가 우리 홈페이지를 잘 읽을까?

자료 출처

• 대규모 사이트 크롤 예산 관리 공식 문서(구글 서치 센트럴)
• AI 크롤러가 늘어나는 현상 분석(버셀, 자사 CDN 네트워크 트래픽 집계)
• 오픈AI 크롤러 공식 안내(GPTBot·OAI-SearchBot·ChatGPT-User)
• 기술 SEO 요인과 AI 검색 인용 상관관계 조사(셈러시, 인용 URL 500만 건 분석)