챗GPT에 한 번 물어보고 가게가 없다고 해도 될까?

챗GPT에 한 번 물어봤는데 가게가 나오지 않았다고 해서 가게가 AI에 없다고 단정하기는 어렵다. 같은 질문을 반복해도 AI의 답변과 인용 출처가 달라질 수 있기 때문이다. 한 연구에서는 브랜드가 답에 등장하는지를 보려면 하루 7회 정도 반복하고, 추세를 보려면 2~4주를 관찰해야 했다.

"한 번 물어봤는데 안 나오던데요?"

그렇게 확인하는 것 자체는 가능하다. 다만 그 결과만으로 "우리 가게는 AI에 안 나온다"고 말하기는 어렵다.

스위스 장크트갈렌대 연구팀은 이 문제를 실제로 확인했다. 4개 업종에서 프롬프트 8개를 정하고, 챗GPT·퍼플렉시티·제미나이·구글 AI 모드에 같은 질문을 매일 반복했다. 기간은 2026년 1월 24일부터 3월 20일까지 45~46일이었다.

연구팀은 하루에 여러 번 같은 질문을 다시 하는 실험도 진행했다. 엔진과 프롬프트 조합별로 최대 10회까지 반복 실행하고, 3,409쌍을 비교했다.

그 결과 같은 질문을 해도 답변에 들어오는 브랜드와 인용 출처가 계속 달라졌다.

"같은 질문인데 왜 답이 달라지나요?"

AI 검색 결과는 한 번 정해지면 계속 같은 결과가 나오는 방식이 아니다. 연구에서는 인용된 출처 목록이 날짜에 따라 크게 달라졌다.

하루에서 다음 날로 넘어갔을 때 인용 출처의 자카드 유사도는 평균 0.35였다. 연구 자료에서는 이를 하루 만에 약 65%가 교체된 것으로 설명한다.

브랜드도 마찬가지다. 연속된 날짜의 등장 브랜드 집합은 45~59% 정도가 겹쳤다. 즉, 어떤 날 답에 들어온 브랜드가 다른 날에는 빠질 수 있었다.

같은 시각에 다시 실행해도 결과가 달라졌다. 같은 시각의 동시 재실행에서 겹치는 정도가 32~43%였기 때문이다. 이 결과는 단순히 시간이 지나서 결과가 달라진 것만으로 설명하기 어렵다는 것을 보여준다.

"그럼 몇 번 물어봐야 하나요?"

연구팀은 같은 질문을 반복하면서 표준오차가 얼마나 줄어드는지도 확인했다. 표준오차는 측정 결과가 얼마나 흔들리는지를 나타내며, 값이 작을수록 결과가 안정적이라는 뜻이다.

브랜드가 답에 등장하는 비율은 7회 실행했을 때 표준오차가 0.10 이하로 내려갔다. 8회에서는 0.08까지 낮아졌다.

따라서 하루 동안 가게가 AI 답변에 등장하는지를 확인하려면 한 번만 묻는 것보다 7회 정도 반복해서 보는 것이 더 안정적이다.

"가게 이름보다 홈페이지가 인용됐는지가 더 중요하다면요?"

그 경우에는 조금 더 반복해야 한다. 브랜드가 답에 등장하는 것과 실제로 어떤 출처가 인용되는지는 같은 결과가 아니기 때문이다.

연구에서는 출처 목록을 기준으로 안정성을 확인하려면 8회가 필요했다. 브랜드 등장 여부보다 출처 목록이 더 크게 흔들리고, 안정되는 데 더 많은 반복이 필요했다는 뜻이다.

따라서 "우리 가게가 답에 나왔는가"와 "우리 홈페이지가 출처로 인용됐는가"를 확인할 때는 같은 기준을 적용하면 안 된다.

가게 홈페이지가 AI의 답변에 근거로 들어오는지를 확인하려면 출처까지 따로 살펴봐야 한다.

"하루 동안 여러 번 확인하면 끝인가요?"

하루의 결과를 확인하는 것과 최근 추세를 확인하는 것은 다르다.

하루에 7~8회 반복하면 그날의 브랜드 등장 여부나 출처 인용 여부를 확인하는 데 도움이 된다. 하지만 "최근 들어 우리 가게가 AI에 더 자주 나오고 있는가"를 확인하려면 날짜를 더 쌓아야 한다.

연구에서는 매일의 측정값을 이동창으로 묶어 표준오차를 다시 계산했다. 10일치를 모았을 때 표준오차가 0.10 아래로 내려갔고, 24일치인 약 3~4주를 모았을 때는 0.05 아래로 내려갔다.

"우리 가게를 확인할 때는 어떻게 보면 되나요?"

먼저 같은 질문을 하루에 한 번만 던지고 결과를 판단하지 않는 것이 중요하다. 같은 질문을 최소 7회 반복해 브랜드가 답에 등장하는 비율을 확인한다.

홈페이지가 실제 인용 출처로 들어오는지를 보려면 8회 정도 반복해 확인한다. 한 번 인용됐다는 사실만으로 계속 인용된다고 판단해서도 안 된다.

그다음에는 같은 확인을 여러 날 이어간다. 최근 추세를 보려면 10일에서 24일 정도의 관찰 기간이 필요하다.

이 기준으로 보면 "오늘 한 번 물어봤는데 안 나왔다"는 결과와 "여러 차례 반복하고 여러 날 확인했는데도 잘 나오지 않는다"는 결과는 의미가 다르다.

반대로 우연히 한 번 답변에 들어갔다고 해서 AI에서 안정적으로 노출되고 있다고 보기도 어렵다. 연구에서 인용 출처가 하루 사이에도 크게 바뀌었기 때문이다.

결국 AI 검색에서 가게가 보이는지를 확인할 때는 한 번의 결과보다 반복 횟수와 관찰 기간을 함께 봐야 한다. 하루의 결과는 하루의 결과로 보고, 추세는 여러 날의 결과를 모아서 판단해야 한다.

같이 읽을 글

• 같은 질문인데 왜 챗GPT 답이 달라지나?
• 우리 홈페이지가 챗GPT에 나오면 다른 AI에도 나올까?
• 챗GPT에만 나오면 되는 걸까?

자료 출처

• Don't Measure Once: Measuring Visibility in AI Search(장크트갈렌대 Schulte·Bleeker·Kaufmann, arXiv 2026.4, 스위스 4업종·프롬프트 8개·엔진 4개·45일 매일 조사)
• 같은 논문 PDF 원문(arXiv, 2026.4)
• 반복 실행 7회·관찰창 2~4주 해설(ranketai.com, 2026.7.12, 동일 연구 표준오차·신뢰구간 재정리)
• 논문 동료 리뷰 요약(pith.science, 2026)
• 논문 색인 페이지(awesomepapers.io, 정보검색 분야 논문 목록)