경쟁 가게보다 AI에 더 많이 인용됐다는 말을 믿어도 될까?

경쟁 가게보다 AI 답변에 더 많이 인용됐다는 보고서를 받아도 질문 몇 개만으로 그 순위를 믿기는 어렵다. 30개 조합을 실험한 연구에서는 순위가 굳는 데 33~75개 답이 필요했다. 1등과 2등의 차이가 측정 오차보다 커지는 데는 최대 94개 답이 필요했고, 3개 조합은 125개 답을 모아도 그 조건을 충족하지 못했다.

같은 질문을 해도 왜 인용 가게가 달라질까

AI는 같은 질문을 다시 받아도 매번 같은 홈페이지를 인용하지 않는다. 같은 질문을 반복했을 때 인용된 도메인이 얼마나 겹치는지를 나타내는 자카드 유사도는 제미나이 약 0.30, 서치GPT 약 0.40, 퍼플렉시티 약 0.50이었다.

퍼플렉시티도 같은 인용 도메인이 절반 정도만 다시 나온 셈이다. 따라서 한 번 나온 답이나 몇 번의 답만 보고 어느 가게가 AI에 더 잘 노출된다고 판단하기 어렵다.

다른 연구에서도 AI 검색이 인용한 도메인의 37%는 기존 검색엔진 결과에 없었다. 구글의 검색 순위만 보고 AI 인용 순위를 대신 판단하기 어려운 이유다.

경쟁 가게 비교 보고서는 무엇부터 봐야 할까

먼저 질문이 몇 개인지 확인해야 한다. 연구에서는 10개 주제마다 125개의 질문을 만들고, 질문 유형 20가지 가운데 하나를 무작위로 골라 세 AI에 물었다.

질문은 장단점, 인기 제품, 전문가 추천, 기능 비교 같은 방식으로 나뉘었다. 같은 주제라도 질문의 방식이 달라지면 인용되는 홈페이지가 달라질 수 있기 때문에 질문 수뿐 아니라 질문 유형도 봐야 한다.

답이 쌓일 때마다 연구자는 두 가지를 확인했다. 하나는 순위가 더 이상 바뀌지 않는지이고, 다른 하나는 자주 인용되는 홈페이지 사이의 점유율 차이가 측정 오차보다 큰지다.

「순위가 굳었다」는 말만 믿어도 될까

그것만으로는 부족하다. 처음 20~40개 답에서는 상위 5곳의 순서가 AI마다 자주 바뀌었다.

앞뒤 순위의 상관이 0.95를 처음 넘는 시점만 보면 30개 조합 모두 평균 19.9개 답에서 한 번은 기준을 넘었다. 하지만 곧 다시 떨어질 수 있었다. 0.95 이상을 15개 답 연속으로 유지한 조합은 19개뿐이었고, 평균 69.2개 답이 필요했다.

연구자는 순위가 잠깐 올라간 순간보다 순위가 더 이상 크게 움직이지 않고 평평해지는 지점을 봤다. 이 기준에서는 30개 조합 모두 답 33~75개에서 순위가 굳었고, 평균은 40.0개였다.

1등과 2등의 차이가 작으면 어떻게 봐야 할까

순위가 굳어도 1등과 2등의 실제 차이가 작다면 순서 자체를 강하게 믿기 어렵다. 그래서 연구에서는 순위가 굳었는지와 함께 점유율 차이가 측정 오차보다 큰지도 확인했다.

두 조건을 모두 충족한 조합은 30개 중 27개였다. 필요한 답은 33~94개였고, AI별 중앙값은 제미나이 42개, 서치GPT 37개(통과한 7개 조합 기준), 퍼플렉시티 51개였다.

특히 퍼플렉시티의 수제 머그컵 주제는 답 34개에서 순위가 굳었지만, 1등과 2등을 가를 만큼 차이가 분명해지려면 81개까지 필요했다. 서치GPT에서는 신원도용 방지, 이색 여행지, 칠리 재료 3개 조합이 답 125개를 모아도 이 조건을 채우지 못했다.

이 차이는 보고서의 해석에서도 중요하다. 순위가 굳은 시점에 바로 멈추면 최종 순위와의 일치도가 가장 낮은 경우 0.364까지 떨어졌다. 두 조건을 모두 채운 뒤 멈추면 가장 낮은 경우가 0.717이었다.

그래도 완전히 같은 순위가 되는 것은 아니다. 두 조건을 충족했을 때 상위 10곳의 겹침 중앙값은 80%였다. 평균적으로 2곳은 최종 순위와 달랐다.

「3등에서 5등으로 떨어졌다」는 말을 그대로 봐야 할까

순위에는 오차 범위가 있다. 답을 125개까지 모은 뒤에도 조합별 상위 10곳의 순위 신뢰구간 폭은 중앙값 5.0칸이었다. 상위 10곳 가운데 18.7%는 그 폭이 10칸을 넘었다.

따라서 3등에서 5등으로 내려갔다는 결과만 보고 실제 노출이 크게 떨어졌다고 단정하기 어렵다. 연구에서도 10등에서 20등으로 내려간 변화가 실제 변화일 수도 있고 측정 오차 안의 흔들림일 수도 있다고 설명했다.

경쟁 가게 보고서를 받으면 이 숫자를 확인해야 한다

국내 실측에서도 반복 질문의 결과는 흔들렸다. 챗GPT에 강원도 변호사 추천을 20번 물었을 때 법무법인 22곳이 나왔고, 가장 많이 나온 곳도 80%였다.

미국 컨덕터 조사에서도 비교 질문의 1위가 91% 유지됐지만, 같은 질문을 반복했을 때 답이 겹친 비율은 40~63%였다. 따라서 질문 20개 남짓으로 만든 경쟁 순위표는 순위가 충분히 굳기 전 단계일 가능성이 있다(예상).

보고서에서 AI마다 인용된 답을 몇 개 모았는지부터 확인해야 한다. 특히 서치GPT처럼 답 하나당 인용 수가 4.2~6.3개로 적은 AI는 초기 답변에서 특정 홈페이지가 아예 나오지 않을 수 있다.

AI마다 인용 수가 다른데도 인용 횟수를 그대로 합쳐 하나의 순위를 만들면 결과가 치우칠 수 있다. 연구에서는 AI별로 점유율을 따로 계산한 뒤 합쳐야 한다고 적었다.

결국 경쟁 가게 비교에서 중요한 것은 「우리 가게가 몇 등인가」가 아니다. 같은 질문 목록으로 충분한 답을 모았는지, 순위가 실제로 굳었는지, 1등과 2등의 차이가 오차보다 큰지, 그리고 순위에 신뢰구간이 붙어 있는지를 확인해야 한다.

같이 읽을 글

• 챗GPT에게 강원도 변호사를 스무 번 물으면 같은 답이 나올까?
• 경쟁사는 나오는데 우리 회사는 왜 안 나올까?
• AI에 계속 나오는 회사는 영원히 나올까
• 챗GPT에 한 번 물어보고 가게가 없다고 해도 될까?

자료 출처

• From Stochastic to Stable: Rank Stability and Structural Sufficiency in AI Visibility Measurement(Ronald Sielinski·IQRush·2026년 7월 arXiv 제출·8월 개정·주제 10개×AI 3개·주제당 질문 125개)★
• Quantifying Uncertainty in AI Visibility: A Statistical Framework for Generative Search Measurement(같은 연구자·2026년 3월 arXiv·반복 측정 자카드 0.30~0.50)★
• AI Brand Recommendation Consistency Analysis(컨덕터, 2026년 7월, 질문 70개×50회×AI 4개 — 비교 1위 유지 91%·겹침 40~63%)★
• Don't Measure Once: Measuring Visibility in AI Search(Schulte·Bleeker·Kaufmann·장크트갈렌대·2026년 4월 arXiv — 반복 측정 필요성)
• Source Coverage and Citation Bias in LLM-based vs. Traditional Search Engines(Zhang 등·2025년 12월 arXiv·질문 5만 5,936개)
• 챗GPT에게 강원도 변호사를 스무 번 물으면 같은 답이 나올까?(2026년 9월 국내 실측, 같은 질문 20회)