우리 가게가 AI에 한 번 나오면 나온다고 해도 되나?

AI 노출은 한 번의 결과가 아니라 반복해서 확인해야 보이는 숫자다

챗GPT에 「광주 서구 세무사 추천」을 한 번 물었는데 가게 이름이 나왔다고 해서, AI에 나온다고 말하기는 어렵다. 한 번은 이번 질문에서 나온 결과일 뿐이고, 질문당 7번 정도 반복해야 「몇 번 중 몇 번 나오는가」를 볼 수 있다. AI사이트코리아의 진단도 한 번 나온 결과보다 반복 측정한 횟수와 순서, 출처, 실제 문장까지 함께 보는 방식이어야 한다.

AI 노출은 「나오나」가 아니라 「몇 번 중 몇 번」으로 봐야 한다.

한 번 물었는데 나왔는데, 왜 부족한가

검색엔진은 같은 검색어를 입력하면 대체로 비슷한 목록을 보여준다. 그래서 검색 결과에 가게가 있는지 확인할 때는 한 번의 결과도 참고할 수 있다.

AI는 다르다. 같은 질문을 해도 답이 달라질 수 있다. 어떤 날에는 나오고, 다른 날에는 빠질 수 있다. 같은 날 몇 시간 간격으로 물어도 출처가 달라질 수 있다.

스위스 연구진이 4개 AI를 45일 동안 조사한 결과도 이런 차이를 보여준다. 챗GPT, 제미나이, 구글 AI 모드, 퍼플렉시티에서 같은 질문을 반복했을 때 어제와 오늘의 출처 겹침은 34~42%였다. 같은 날 몇 시간 간격으로 물었을 때도 32~43%가 달랐다.

조사결과
스위스 4업종·4개 AI(챗GPT·제미나이·구글 AI 모드·퍼플렉시티), 45일 매일(2026년 1~3월)어제와 오늘의 출처 겹침 34~42% — 하루에 60% 안팎이 바뀜
같은 조사같은 날 몇 시간 간격으로도 32~43%
컨덕터(2026년 7월, 질문 70개×50회×4개 AI)두 번 물었을 때 같은 회사 40~63%, 비교 질문 1순위는 91% 유지
우리 실측(2026년 9월 15일, 「광주 서구 맛집」 7회)서로 다른 식당 26곳, 7번 다 나온 곳은 1곳

따라서 「우리 가게가 AI에 나오나」만 확인하면 결과를 너무 단순하게 보게 된다. 실제로는 같은 질문을 여러 번 했을 때 얼마나 자주 나오는지를 기록해야 한다.

그래서 몇 번 물어봐야 하나

연구에서 한 번 측정한 표준오차는 0.37이었다. 질문당 7번을 측정하면 표준오차가 0.10 아래로 내려간다. 출처 목록을 보는 경우에는 8번을 측정했을 때 0.10 아래가 된다.

열흘 동안 매일 관찰해도 표준오차는 0.10 아래로 내려가고, 24일 동안 매일 관찰하면 0.05 아래로 내려간다. 즉, 한 번의 결과만 가지고 전체적인 AI 노출을 판단하기는 어렵다.

연구진의 결론도 「한 번 재지 말라」였다. AI 노출은 하나의 고정된 값이라기보다 반복해서 확인해야 하는 분포로 봐야 한다.

측정 방식표준오차뜻
한 번0.37쓸 수 없음
질문당 7번0.10 아래「10번 중 몇 번」 수준으로 읽을 수 있음
출처 목록(어느 사이트가 인용되나)은 8번0.10 아래출처는 회사 이름보다 더 흔들림
열흘 매일 관찰0.10 아래시간에 따른 변화까지 잡힘
24일 매일 관찰0.05 아래정식 보고서 수준

여기서 중요한 것은 무조건 많이 물어보는 것이 아니다. 목적에 맞는 횟수를 정하고 같은 조건으로 반복하는 것이다.

사장님이 직접 확인한다면 몇 번이면 되나

대략적인 상태를 확인하는 것과 정식으로 비교하는 것은 다르게 볼 수 있다.

자가 확인이라면 질문 3개를 정하고 AI 3곳에서 각각 3번씩 물어보는 방식이다. 총 27번을 확인하게 된다. 임시 대화가 아니라 새 대화에서 확인하고, 결과를 기록한다.

경쟁사와 비교하거나 홈페이지를 고친 뒤 효과를 확인하려면 질문당 7번을 기준으로 삼을 수 있다. 같은 질문을 7번 하고, 몇 번 나왔는지를 7로 나누면 된다.

홈페이지를 고쳤다면 고치기 전 7번과 고친 뒤 7번을 비교하고, 2주 뒤 다시 7번을 확인한다. 월간 기록은 매달 같은 날 같은 질문을 7번 하는 방식이다.

목적몇 번어떻게
「대충 어디쯤인가」 자가 확인질문 3개 × AI 3곳 × 3번 = 27번임시 대화, 새 대화마다. 10분
경쟁사와 비교질문당 7번같은 질문을 7번, 나온 횟수/7
홈페이지를 고친 뒤 효과 확인고치기 전 7번 + 고친 뒤 7번, 2주 뒤 다시 7번앞뒤 비율 차이가 0.2 넘어야 뜻이 있음
월간 기록매달 같은 날 같은 질문 7번석 달이면 방향이 보임

반복 횟수를 무작정 늘릴 필요도 없다. 2026년 7월 분석에서는 반복 5회를 넘기면 정확도가 거의 오르지 않는다는 분석도 있다. 따라서 자가 확인은 3번, 정식 측정은 7번이라는 기준으로 나눠 볼 수 있다.

많이 나온 것보다 어디에 나왔는지가 중요한 이유

가게 이름이 한 번 나왔다고 해도 어떤 방식으로 나왔는지를 확인해야 한다. 답변의 첫 번째에 나왔는지, 뒤쪽에 나왔는지에 따라 실제 노출 상황은 다르게 볼 수 있다.

근거가 된 출처도 봐야 한다. AI가 우리 홈페이지를 근거로 답했는지, 다른 사이트의 글을 근거로 답했는지를 구분해야 한다. 우리 홈페이지의 내용이 답변에 실제로 사용됐는지도 확인해야 한다.

2026년 4월 다른 연구에서는 인용 21,143건을 살펴보면서 「인용됐다」는 것과 「답에 실제로 쓰였다」는 것이 다를 수 있다고 보고했다. 챗GPT는 적게 인용하되 깊게 쓰고, 퍼플렉시티와 구글은 많이 인용하되 얕게 쓰는 차이도 나타났다.

칸적을 것
나왔나○×
몇 번째1·2·3…
근거 출처우리 홈페이지인가, 남의 글인가
우리 문장답에 우리 표현이 그대로 있나
대신 나온 곳이름과 그 출처

이 기록을 남기면 단순히 「우리 가게가 나왔다」에서 끝나지 않는다. AI가 어떤 정보를 근거로 우리 가게를 설명했는지 확인할 수 있다.

그럼 홈페이지는 무엇을 고쳐야 하나

AI가 우리 가게를 답에 넣지 않았다면, 먼저 경쟁사나 다른 업체가 어떤 출처로 등장했는지를 확인할 수 있다. 그 출처를 보면 우리 홈페이지에서 어떤 내용을 더 분명하게 보여줘야 하는지도 찾을 수 있다.

예를 들어 기록표에서 「근거 출처」를 보면 우리 홈페이지가 답의 근거로 사용됐는지 알 수 있다. 「우리 문장」을 보면 홈페이지에 있는 표현이 답변에 실제로 쓰였는지 확인할 수 있다. 「대신 나온 곳」에는 우리 대신 답에 나온 업체와 그 출처를 적는다.

이렇게 보면 AI 노출을 단순한 노출 여부로만 관리하지 않게 된다. 어떤 질문에서 나오는지, 몇 번 나오는지, 몇 번째에 나오는지, 무엇을 근거로 나오는지까지 확인할 수 있다.

AI사이트코리아가 동네 사장님의 홈페이지를 AI가 읽고 답에 넣게 만드는 일을 할 때도 이 차이가 중요하다. 한 번 나온 결과를 보고 끝내는 것이 아니라, 반복해서 확인하고 기록해야 홈페이지를 고친 뒤 변화도 비교할 수 있다.

결국 「챗GPT에 한 번 물어봤더니 우리 가게가 나왔다」는 시작점이다. 그것만으로 「AI에 나온다」고 단정하기보다 같은 질문을 반복해서 실제 횟수를 확인하는 것이 맞다.

요점 ① 한 번 측정한 표준오차는 0.37이어서, 질문당 7번 측정해 0.10 아래로 내려가는지를 본다. ② 스위스 4개 AI·45일 조사에서 어제와 오늘의 출처 겹침은 34~42%였고, 같은 날 몇 시간 간격으로도 32~43%가 달랐다. ③ 자가 확인은 질문 3개×AI 3곳×3번, 정식 측정은 질문당 7번으로 하고, 홈페이지 수정 전후도 각각 7번씩 비교한다. ④ 나왔는지만 보지 말고 나온 횟수, 순서, 근거 출처, 우리 문장, 대신 나온 곳까지 5가지를 기록한다.

같이 읽을 글

자료 출처

작성일

#측정 #논문 #반복측정 #오차 #응답점유율

← 칼럼 목록
무료로 신청하기→