홈페이지를 고친 뒤 챗GPT 방문이 늘었는지 어떻게 알 수 있을까?

홈페이지를 고친 뒤 챗GPT에서 오는 방문이 늘었는지 확인하려면 시밀러웹 같은 추정 도구보다 우리 사이트의 기록을 먼저 봐야 한다. 실제 방문 기록에 가공 방식을 달리 적용하자, 방문 감소 효과가 −115.8에서 −68.2로 작아지거나 −170.3으로 커졌고, 반대로 +33.9로 뒤집히기도 했다. 동네 가게 홈페이지의 AI 유입 효과는 GA4의 방문 경로와 검색 도구의 노출·클릭 기록을 확인하고, 수정하지 않은 페이지와 비교해 판단하는 것이 좋다.

시밀러웹의 방문자 수는 실제로 센 숫자일까?

시밀러웹이나 셈러시에서 보여 주는 방문자 수는 실제 접속을 하나씩 세어 얻은 값이 아니다. 일부 이용자의 기록과 공개 자료, 협력 회사 자료 등을 모아 예측 모델로 계산한 추정치다.

시밀러웹은 공식 안내에서 자료를 네 갈래로 모은다고 밝힌다. 일부 사이트가 공유한 분석 기록, 자사 제품이 설치된 기기에서 모은 익명 이용 기록, 공개 자료, 협력 회사 자료다. 셈러시 역시 표본 이용자의 클릭 기록을 예측 모델로 가공하는 방식을 설명한다.

따라서 화면에 표시된 방문자 수가 실제와 얼마나 가까운지, 특정 변화가 실제로 일어났는지는 별도로 확인해야 한다. 경쟁사보다 방문이 많은지 적은지 살펴보는 데는 도움이 되지만, 홈페이지를 고친 뒤 방문이 늘었는지를 판단하는 데는 한계가 있다.

실제 방문 기록과 얼마나 차이가 날까?

2022년 학술지에 실린 연구는 26개국, 19개 업종의 웹사이트 86곳을 대상으로 구글 애널리틱스 기록과 시밀러웹 추정치를 비교했다. 그 결과 시밀러웹의 총방문은 19.4%, 순방문자는 38.7% 적게 나왔다.

다만 모든 숫자가 틀린 것은 아니다. 사이트별 방문자 수는 차이가 났지만, 사이트끼리의 순위는 대체로 일치했다. 이 결과는 추정 도구가 경쟁사의 대략적인 규모를 파악하는 데는 쓸 만하지만, 실제 방문자 수나 작은 변화를 정확하게 확인하는 용도로는 주의가 필요하다는 뜻이다.

검색이 멈춘 날에도 추정치는 변화를 보여 줬을까?

워싱턴대 연구진은 검색 서비스에 큰 장애가 발생한 날을 살펴봤다. 2024년 5월 1일에는 구글 검색에 세계적인 장애가 발생했고, 5월 23일에는 빙이 다섯 시간 넘게 멈췄다. 당시 빙을 이용하는 덕덕고와 코파일럿, 챗GPT의 웹 검색 기능도 영향을 받았다.

검색이 멈추면 해당 검색엔진에서 넘어오는 방문이 줄어드는 것이 자연스럽다. 연구진은 방문이 많은 웹사이트 7,791곳의 시밀러웹 추정 자료에서 구글과 빙의 자연 검색 유입을 확인했다. 하지만 두 장애 발생일 모두 그날 유입이 뚜렷하게 꺾이는 모습은 나타나지 않았다.

연구진은 이 결과가 그림을 눈으로 확인한 수준의 진단이라고 밝혔다. 추정 도구가 실제 변화를 반드시 놓친다는 증거는 아니지만, 하루 사이에 일어난 큰 변화도 추정치에는 분명하게 드러나지 않을 수 있다는 점을 보여 준다.

실제로 방문이 늘었는데 감소했다고 나올 수도 있을까?

가능하다. 추정 도구는 표본에서 확인한 기록을 전체 방문으로 환산한다. 이때 표본이 전체 이용자를 얼마나 잘 대표하는지 계산하는 비율이 달라지면, 실제 방문이 늘어도 추정 방문은 줄어들 수 있다.

연구진은 이런 상황을 설명하기 위해 방문자 수와 표본 비율을 바꾼 예시를 제시했다. 실제 방문은 1,000에서 1,200으로 늘었다. 하지만 도구가 실제로 확인한 비율은 10%에서 15%로 변했고, 도구가 믿는 비율은 10%에서 20%로 달라졌다. 그 결과 추정 방문은 1,000에서 900으로 오히려 줄었다.

이 예시는 실제 방문과 추정치가 서로 다른 방향으로 움직일 수 있음을 보여 준다. 방문자 구성이 달라지거나 표본의 대표성이 달라지면, 추정치가 실제 변화의 크기뿐 아니라 방향까지 다르게 나타날 수 있다.

같은 기록인데 효과가 왜 세 가지로 달라졌을까?

연구진은 두 사이트의 방문 기록을 120일 동안 만든 뒤, 60일째부터 한 사이트에서 하루 방문이 120만큼 줄어들도록 설정했다. 다른 사이트는 비교군으로 두었다. 실제 방문 기록으로 계산한 변화 효과는 −115.8이었다.

그다음 같은 기록에 추정 도구에서 나타날 수 있는 가공 방식을 적용했다. 실제 값은 15%만 반영하고 나머지 85%는 지난 60일의 흐름과 다른 경로의 숫자로 채웠다. 다른 경로의 숫자에 주는 무게만 바꾸자 결과가 달라졌다.

세 조건에서 실제 방문 기록과 변화 시점은 같았다. 그런데 추정치로 계산한 효과는 −68.2, −170.3, +33.9로 나타났다. 실제로 방문이 줄었는데 감소 폭이 작아지거나 커졌고, 한 조건에서는 방문이 늘었다고 나왔다.

이 실험은 시밀러웹이나 셈러시가 실제로 이 방식대로 계산한다는 증거는 아니다. 연구진은 가능한 가공 방식을 단순하게 구성해 추정치가 얼마나 크게 흔들릴 수 있는지 살펴봤다. 실제 내부 계산 방식과 원자료를 알 수 없다면 오차의 크기와 방향도 확신하기 어렵다는 것이 핵심이다.

다른 연구에서도 이런 문제가 확인됐을까?

연구진이 살펴본 2020~2026년 논문과 연구 원고 25편 가운데 18편은 추정 모델 때문에 연구 결론이 흔들릴 수 있다는 표시를 받았다. 판단할 정보가 부족하다고 분류된 연구도 1편 있었다.

목록에는 챗GPT가 미국과 대만의 언론사 80곳에 보낸 방문을 살펴본 연구와, 언론·미디어 사이트 8,082곳의 AI 유입 추정치를 사용한 연구도 포함됐다. 연구진은 후자의 경우 셈러시의 AI 플랫폼별 유입 자료에 빈 기간이 있었다는 점을 짚었다.

이 결과가 모든 추정 도구의 자료가 쓸모없다는 뜻은 아니다. 다만 추정치를 이용해 어떤 변화가 왜 일어났는지 설명하려면 계산 방식과 자료의 빈틈까지 고려해야 한다. 홈페이지 수정 효과를 판단할 때도 같은 원칙이 필요하다.

그렇다면 사장님은 무엇부터 확인해야 할까?

첫 번째는 GA4의 실제 방문 경로다. 챗GPT에서 넘어온 고객이 있는지 확인하고, 참조 경로에 chatgpt.com 등이 기록되는지 살펴본다. 다만 AI에서 온 방문이 출처 없이 다이렉트로 잡히는 경우도 있으므로, 기록에 보이는 숫자가 AI 유입 전체라고 단정해서는 안 된다.

두 번째는 홈페이지를 고친 날짜와 페이지를 기록하는 것이다. 고친 페이지의 방문 변화만 확인하지 말고, 같은 기간에 수정하지 않은 페이지의 변화도 함께 살펴본다. 두 페이지의 변화가 어떻게 다른지 비교해야 홈페이지 수정과 방문 변화 사이의 관계를 더 신중하게 판단할 수 있다.

세 번째는 검색 도구별 기록을 확인하는 것이다. 구글은 서치콘솔, 빙은 빙 웹마스터, 네이버는 서치어드바이저에서 노출과 클릭 변화를 확인한다. 이 기록은 검색 결과에서 홈페이지가 얼마나 노출되고 고객이 얼마나 클릭했는지 살펴보는 데 도움이 된다. 다만 검색 노출과 클릭이 늘었다고 해서 챗GPT 유입도 반드시 늘었다는 뜻은 아니다.

동네 가게 홈페이지는 방문 자체가 많지 않을 수 있다. 연구진도 방문이 적은 사이트는 표본 기반 추정의 정확도가 떨어질 수 있다고 지적했다. 따라서 작은 가게라면 추정 도구의 숫자보다 우리 사이트에 남은 기록을 먼저 확인하는 편이 합리적이다.

해외 연구 결과를 국내 모든 사이트에 그대로 적용할 수는 없다. 특히 네이버와 카카오 유입이 큰 한국 사이트를 추정 도구가 얼마나 정확하게 반영하는지는 이번 연구에서 다루지 않았다. 그러므로 경쟁사 분석에는 추정치를 참고하되, 우리 홈페이지를 고친 효과는 직접 기록과 비교를 통해 확인하는 것이 좋다.

같이 읽을 글

• AI가 우리 홈페이지로 고객을 보내고 있는지 어떻게 알까?
• 챗GPT 유입이 늘면 정말 GEO 효과일까?
• 우리 가게에 온 AI 고객은 왜 통계에서 안 보일까?
• 챗GPT 점유율이 떨어진다는데, 우리 가게는 어디를 봐야 할까?

자료 출처

• Do Third-Party Web Traffic Estimates Preserve Causal Variation?(미국 워싱턴대·arXiv 2609.30481·2026년 9월 제출, 사이트 7,791곳 장애 점검·120일 차분 모의실험·연구 25편 목록)
• 같은 논문 HTML 본문(그림 1, 표 1·2, 부록 A.2 보정 오차 예시, 부록 B 표 B1~B4)
• Measuring user interactions with websites: A comparison of two industry standard analytics approaches using data of 86 websites(PLOS ONE·2022, 26개국·19개 업종 웹사이트 86곳의 구글 애널리틱스와 시밀러웹 비교)
• Our Data(시밀러웹 공식 자료 설명, 네 갈래 자료와 예측 모델)★
• Bing's API was down, taking Microsoft Copilot, DuckDuckGo and ChatGPT's web search feature down too(테크크런치·2024년 5월 23일, 5시간 넘는 빙 장애)
• 실적 보고서(Google 검색 결과): 개요 및 기본 설정(구글 서치콘솔 도움말)