같은 질문을 20번 하면 우리 가게가 몇 번 나올까?

AI 답변은 한 번만 보면 놓치는 것이 많다

같은 질문을 AI에게 20번 하면 매번 똑같은 답이 나오지 않는다. 이번 측정에서는 22곳이 한 번이라도 등장했고, 가장 많이 나온 곳은 16회(80%), 두 번째는 13회(65%)였다. 반면 한 번만 나온 곳도 5곳이었다.

20번 중 16번 나온 곳과 1번 나온 곳은 같은 「나옴」이 아니다.

우리 가게가 AI 답에 정말 나오는지 어떻게 알까?

한 번 검색해서 우리 회사 이름이 나왔다고 해서 AI가 우리 회사를 잘 알고 있다고 보기는 어렵다.

중요한 것은 반복해서 나오는지다. 같은 질문을 여러 번 했을 때 계속 이름이 나오는 곳과 어쩌다 한 번 나오는 곳은 다르게 봐야 한다.

AI사이트코리아가 측정한 방식도 이렇다. 크롬에서 챗GPT에 로그인하고 임시 채팅을 사용해 같은 질문을 20번 넣었다. 질문은 「강원도에 괜찮은 변호사 추천해줘」였다.

20번 중 19번은 검색이 켜졌다. 검색을 통해 들어온 정보가 답변에 영향을 준다는 뜻이다.

20번의 결과를 모으면 어느 곳이 반복해서 등장하는지 바로 보인다.

순위이름(종류)등장비율첫 자리
1법무법인(분사무소 3곳)16회80%7회
2개인 법률사무소13회65%5회
3법무법인(강릉)8회40%0회
4~6법률사무소 2곳·법무법인 1곳각 7회35%0~4회
7~93곳각 5회25%0~2회
101곳4회20%0회
11~177곳2~3회10~15%0회
18~225곳1회5%0~1회
합계22곳검색 사용 19/20회

왜 어떤 곳은 16번 나오고, 어떤 곳은 1번 나올까?

이번 측정에서 가장 눈에 띈 차이는 출처였다.

16번 나온 1위 법무법인은 자기 홈페이지가 출처로 붙었다. 원주·강릉·춘천 분사무소의 홈페이지 주소가 각각 있어 지역 질문에 여러 번 걸렸다.

13번 나온 2위 개인 법률사무소도 반복해서 답에 등장했다. 반면 1번만 나온 곳은 5곳이었다.

즉, 「한 번 나왔다」와 「계속 나온다」는 같은 의미가 아니다.

AI 답변에서 우리 회사 이름이 보이는지만 볼 것이 아니라, 몇 번 나왔는지와 어떤 홈페이지가 출처로 붙었는지를 함께 봐야 한다.

AI는 우리 홈페이지를 출처로 붙일까?

출처를 따로 모아보면 또 다른 모습이 보인다.

가장 많이 붙은 곳은 강원도 교육청의 법률 안내 페이지였다. 13회였다. 이 페이지는 특정 변호사를 추천하는 페이지가 아니었다. 그런데 페이지 안에 「강원도」와 「변호사」라는 글자가 있어 검색에 걸렸다.

1위 법무법인의 자기 홈페이지는 원주 분사무소 6회, 강릉 분사무소 4회, 춘천 분사무소 1회로 모두 합쳐 11회였다.

법원 누리집은 4회, 변호사 소개 플랫폼은 2회였다.

도메인(종류)횟수
강원도 교육청 법률 안내(공공)13
1위 법무법인 원주 분사무소(자기 홈페이지)6
1위 법무법인 강릉 분사무소(자기 홈페이지)4
1위 법무법인 춘천 분사무소(자기 홈페이지)1
법률 정보 사이트5
춘천지방법원(공공)4
변호사 소개 플랫폼2
법무법인 자기 홈페이지(다른 곳)2
나머지 4곳각 1

이 결과에서 확인할 수 있는 것은 단순하다. AI가 어떤 회사를 답에 넣을 때 그 회사의 정보가 어디에서 확인되는지가 중요하다.

특히 지역을 묻는 질문에서는 지역과 업종을 설명하는 내용이 홈페이지에 있어야 검색 과정에서 연결될 수 있다.

공공기관 페이지가 왜 더 많이 나왔을까?

이번 결과에서는 공공 페이지가 출처로 많이 붙었다.

강원도 교육청 법률 안내 페이지가 13회로 가장 많았다. 춘천지방법원도 4회 출처로 붙었다.

이 페이지들이 변호사를 추천하는 페이지라는 뜻은 아니다. 검색 과정에서 「지역+업종」에 해당하는 글자가 있는 페이지가 걸린 결과다.

그래서 AI 답변에 어떤 곳이 등장했는지만 보면 이유를 놓칠 수 있다.

출처까지 함께 봐야 한다. 우리 회사 홈페이지가 출처로 붙었는지, 다른 사이트가 출처로 붙었는지를 구분해야 한다.

같은 회사인데 이름이 다르게 나오면 어떻게 될까?

이번 측정에서는 같은 법무법인이 여러 이름으로 나오는 경우도 있었다.

「○○ 춘천분사무소」, 「○○」, 「○○ 원주분사무소」처럼 표기가 갈렸다.

사람이 보면 같은 곳이라는 것을 알아볼 수 있다. 하지만 측정할 때는 이름이 다르면 각각 다른 결과처럼 보일 수 있다.

그래서 회사 이름은 한 가지로 통일해 적어 두는 것이 중요하다.

AI 답변에서도 이름이 여러 방식으로 나뉘면 등장 횟수를 합쳐서 보기 어렵다. 홈페이지에서 회사 이름을 어떻게 적고 있는지부터 확인해야 한다.

한 번 물어본 결과만 믿어도 될까?

그렇지 않다.

이번 측정처럼 같은 질문을 20번 반복하면 결과의 차이가 보인다. 16번 나온 곳도 있고, 1번 나온 곳도 있다.

한 번 물었을 때 우리 회사가 나왔다면 「AI가 우리 회사를 알고 있다」 정도로만 볼 수 있다. 반복했을 때 몇 번 나오는지를 확인해야 실제 노출 상태를 더 분명하게 볼 수 있다.

재료에 있는 연구에서도 같은 질문을 7회 이상 반복하면 오차가 0.37에서 0.10으로 줄어드는 것으로 나타난다.

따라서 한 번의 답변보다 반복 측정이 중요하다.

사장님은 무엇을 재면 될까?

복잡하지 않다.

먼저 고객이 실제로 물을 법한 질문을 하나 정한다. 그 질문을 챗GPT 임시 채팅에서 20번 넣는다.

그리고 세 가지만 기록하면 된다.

우리 회사 이름이 몇 번 나왔는지, 몇 번째 자리에 나왔는지, 어떤 사이트가 출처로 붙었는지를 적는다.

AI사이트코리아의 측정기도 같은 방식으로 질문 하나를 20번 돌리고 회사 이름의 등장 횟수와 순서, 출처 도메인을 표로 만든다.

다음 달에 같은 질문으로 다시 측정하면 달라진 점도 확인할 수 있다.

이렇게 보면 「AI에서 보인다」는 말을 막연하게 하지 않고 숫자로 확인할 수 있다.

관찰뜻
80% vs 5%자기 홈페이지가 출처로 붙는 곳이 늘 나온다
공공 페이지 출처 13회「지역+업종」이 글자로 있는 곳이 걸린다
20회 중 19회 검색지역 질문은 거의 항상 검색 — 넥티브 59%와 같은 방향
표기 3~4가지이름을 한 가지로 통일해야 합산된다

결국 중요한 것은 한 번의 노출이 아니다.

20번 물었을 때 얼마나 자주 나오는지, 첫 자리에 몇 번 나오는지, 그리고 우리 홈페이지가 출처로 연결되는지를 함께 봐야 한다.

이번 측정에서는 80%로 나온 곳과 5%로 나온 곳의 차이가 분명했다. 그 차이를 만든 요소 가운데 하나가 자기 홈페이지가 출처로 붙는 것이었다.

사장님 회사도 먼저 같은 질문을 20번 물어보면 된다. 그 표 한 장이 AI에서 우리 회사가 어떻게 보이는지 확인하는 첫 번째 성과표가 된다.

요점 ① 같은 질문 20회에서 22곳이 등장했고, 1위는 16회(80%), 2위는 13회(65%) 나왔다. ② 20회 중 19회는 검색이 사용됐고, 1위 법무법인의 자기 홈페이지 출처는 11회였다. ③ 강원도 교육청 법률 안내 페이지는 출처로 13회 붙었고, 춘천지방법원은 4회 붙었다. ④ 같은 회사 이름이 3~4가지로 나뉘어 나오므로 홈페이지의 이름 표기를 한 가지로 통일해야 한다.

같이 읽을 글

자료 출처

작성일

#측정 #실측 #챗GPT #변호사 #강원

← 칼럼 목록
무료로 신청하기→