AI 노출 점수 40%, 믿어도 될까?

점수보다 먼저 봐야 할 질문 목록과 계산 기준

AI 노출 점수는 숫자만 보고 높다 낮다를 판단하면 안 된다. 같은 자료에서도 질문 묶음의 비중에 따라 39.66%와 70.54%가 나올 수 있다. 그래서 보고서를 받을 때는 점수보다 어떤 질문을 몇 개 넣었고, 무엇을 나왔다고 셌는지부터 확인해야 한다.

AI 노출 점수는 가게보다 질문 목록이 먼저 정한다.

왜 같은 가게인데 AI 노출 점수가 달라질까?

AI 노출 점수는 질문 목록을 정하고, 그 질문을 AI에 넣고, 답에 가게 이름이나 출처가 나왔는지 정해진 기준으로 세고, 질문 묶음별 비중을 적용해 하나의 숫자로 합친 결과다. 따라서 질문 목록은 단순한 측정 재료가 아니라 측정 방법의 일부다.

2026년 9월 공개된 측정 방법 검토 연구는 기존 연구를 살펴보면서 어떤 상황을 질문에 넣는지, 문장을 어떻게 쓰는지, 대화를 어디까지 보는지, 묶음마다 어떤 비중을 주는지, 무엇을 나왔다고 셌는지가 결과에 영향을 준다고 설명했다.

점수를 바꾸는 선택정하는 것점수에 생기는 일
어떤 상황을 넣나업종·지역·언어·고객 조건점수가 말해 주는 범위가 정해진다
문장을 어떻게 쓰나단어·길이·예시·가게 이름 포함 여부AI가 찾는 자료와 답이 바뀐다
대화를 어디까지 보나첫 질문만, 또는 이어서 묻는 질문까지첫 답에 없던 이름이 뒤에 나올 수 있다
비중을 어떻게 주나질문 묶음마다 몇 %합친 점수 자체가 바뀐다
무엇을 셌나출처 링크·이름 언급·추천 여부, AI 채점 지시문같은 답도 점수가 달라진다

예를 들어 지역이나 언어, 고객 조건을 붙이면 AI의 답이 달라질 수 있다. 「작은 비영리단체용」이나 「프랑스에서 살 수 있는」처럼 조건이 붙었을 때 추천이 달라지는 것은 이상한 일이 아니다. 따라서 조건을 어떻게 넣었는지도 점수의 일부로 봐야 한다.

40%라는 숫자를 받으면 무엇부터 봐야 할까?

먼저 질문이 몇 개인지 봐야 한다. 그다음 일반 검색어, 쇼핑 검색어, 설명을 청하는 질문처럼 질문을 어떤 묶음으로 나눴는지 확인해야 한다.

미국 연구진은 2025년 12월 7~8일 뉴저지주 뉴어크의 휴대폰 환경에서 구글 검색어 1만 1,500개를 조사했다. 전체 검색어에서 AI 개요가 뜬 비율은 65.6%였지만 묶음별 결과는 크게 달랐다.

묶음(2025년 12월 7~8일 수집)질문 수AI 개요가 뜬 비율
전체1만 1,500개65.6%
일반 검색어(실제 사용자 검색어)5,000개51.5%
아마존 쇼핑 검색어500개17.4%
설명을 청하는 질문1,000개94.6%

일반 검색어에서는 51.5%였고 아마존 쇼핑 검색어에서는 17.4%였다. 반대로 설명을 청하는 질문에서는 94.6%였다. 질문을 어떻게 구성하느냐에 따라 전체 점수가 달라질 수 있다는 뜻이다.

질문 비중을 바꾸면 점수가 얼마나 달라질까?

검토 연구는 같은 공개 자료에서 질문 묶음의 비중만 바꿔 다시 계산했다. 일반 검색어·쇼핑 검색어·설명 질문에 각각 20%·60%·20%의 비중을 주자 39.66%가 나왔다.

설명 질문에 60%를 주면 결과는 70.54%가 됐다. 실제 질문 수의 비율대로 계산했을 때는 55.5%였고, 비중에 제한을 두지 않으면 17.4%에서 94.6% 사이 어디든 나올 수 있다.

비중(일반·쇼핑·설명)합친 비율
20%·60%·20%39.66%
20%·20%·60%70.54%
실제 질문 수 비율(약 76.9%·7.7%·15.4%)55.5%
비중 제한 없음17.4~94.6%

따라서 「AI 노출률 40%」라는 숫자만 받아서는 그 숫자가 높은지 낮은지 판단하기 어렵다. 어떤 질문을 넣었는지뿐 아니라 질문 묶음별 비중을 어떻게 정했는지도 함께 확인해야 한다.

가게 이름을 넣은 질문이 몇 개인지도 봐야 할까?

봐야 한다. 질문에 가게나 제품 이름을 직접 넣었는지에 따라 결과가 크게 달라질 수 있기 때문이다.

실제 실험에서는 2025년 프로덕트헌트 상위 제품 가운데 112개를 대상으로 제품 이름을 넣은 질문과 이름 없이 새 제품을 찾는 질문을 비교했다. 제품 이름을 넣은 질문에서는 GPT-4o-mini가 336번 중 334번 제품을 등장시켰지만, 이름 없이 새 제품을 찾는 질문에서는 784번 중 26번만 등장시켰다.

질문 방식(제품 112개)GPT-4o-mini퍼플렉시티 소나
제품 이름을 넣은 질문336번 중 334번 등장(99.4%)336번 중 317번 등장(94.3%)
이름 없이 새 제품을 찾는 질문784번 중 26번 등장(3.32%)784번 중 65번 등장(8.29%)

따라서 보고서에 「우리 가게가 AI에 40% 노출됐다」고 적혀 있다면 가게 이름을 직접 넣은 질문이 얼마나 포함됐는지 물어봐야 한다. 질문 목록에 이름을 넣은 질문이 많으면 실제 고객이 처음 가게를 찾는 상황과 다른 결과가 나올 수 있다.

AI가 나왔다고 판단하는 기준도 확인해야 할까?

확인해야 한다. AI 답에 가게 이름이 들어간 것과 추천으로 언급된 것은 같은 뜻이 아닐 수 있기 때문이다.

AI에게 채점을 맡겼다면 채점 지시문도 결과에 영향을 줄 수 있다. 연구는 가게 이름이 흔한 낱말과 겹쳐 잘못 세거나, 목록이 아닌 문장 속 추천을 놓치거나, 부정적인 언급을 추천으로 세는 경우를 지적했다.

또한 분모가 무엇인지도 중요하다. 연구는 AI 답 안에서 이름이 나오는 비율을 40%로 가정해 계산했다. 쇼핑 질문 비중이 큰 목록에서는 전체 질문 중 이름이 보인 비율이 15.864%였고, 설명 질문 비중이 큰 목록에서는 28.216%였다.

가정: AI 답 안에서 이름이 나오는 비율 40%쇼핑 비중이 큰 목록설명 질문 비중이 큰 목록
AI 답이 뜬 비율39.66%70.54%
전체 질문 중 이름이 보인 비율15.864%28.216%
분모를 「AI 답이 뜬 질문」으로 바꾸면약 2.52배로 커 보임약 1.42배로 커 보임

그런데 분모를 전체 질문이 아니라 「AI 답이 뜬 질문」으로 바꾸면 같은 결과가 약 2.52배와 1.42배로 커 보인다. 그래서 「40%」라는 숫자만 보는 것보다 무엇을 분모로 삼았는지를 확인하는 것이 중요하다.

질문 비중에 따라 경쟁 가게 순서도 바뀔까?

바뀔 수 있다. 검토 연구는 가상의 두 회사를 놓고 질문 묶음의 비중을 바꿨을 때 순서가 뒤집히는 예를 제시했다.

이름을 넣고 확인하는 질문에서는 A가 90%, B가 60%였지만, 조건만 말하고 찾는 질문에서는 A가 30%, B가 50%였다. 찾는 질문의 비중을 20%로 두면 A가 78%, B가 58%가 되지만, 그 비중을 80%로 높이면 A는 42%, B는 52%가 된다.

가상 예시A 회사B 회사
이름을 넣고 확인하는 질문90%60%
조건만 말하고 찾는 질문30%50%
찾는 질문 비중 20%일 때78%58%
찾는 질문 비중 80%일 때42%52%

따라서 경쟁 가게와 비교한 보고서라면 두 가게에 같은 질문 목록과 같은 비중을 적용했는지 봐야 한다. 비중을 바꿨을 때 순서가 뒤집힌다면 한쪽이 항상 앞선다고 보기보다 어떤 질문 묶음을 중시했는지 함께 봐야 한다.

지난달 점수와 비교해도 될까?

질문 목록이 같았는지부터 확인해야 한다. 목록이 바뀌면 점수가 올라가거나 내려간 이유가 가게의 변화인지 질문의 변화인지 구분하기 어렵다.

첫 질문만 측정하는지도 봐야 한다. 첫 답에는 없던 출처가 이어지는 질문에서 인용될 수 있기 때문이다. 오픈서베이의 2026년 7월 조사에서는 AI 답을 본 뒤 이어서 질문하는 이용자가 42.3%였다.

한국 고객을 대상으로 측정한다면 질문을 한국어로 하고 이어지는 대화까지 포함할 필요가 있어 보인다(예상). 연구는 질문을 번역할 때 그 지역에서 살 수 있는 상품 같은 조건까지 그대로 옮겨지지는 않는다고 설명했다.

보고서를 받으면 이 다섯 가지를 물어보자

복잡한 분석을 다시 할 필요는 없다. 보고서에 적힌 숫자의 계산 조건을 확인하는 것부터 시작하면 된다.

질문 수와 가게 이름을 넣은 질문의 비율, 질문 묶음별 비중, 사용한 AI와 측정 조건, 「나왔다」의 기준과 분모, 지난달과 같은 질문 목록인지 순서대로 확인하면 된다.

물어볼 것왜 필요한가
질문은 몇 개이고, 우리 가게 이름을 넣은 질문은 몇 %인가이름을 넣은 질문은 336번 중 334번 나오기도 한다
질문 묶음별 비중은 어떻게 정했고, 바꾸면 점수가 어디까지 움직이나같은 자료로 39.66%도 70.54%도 나온다
어느 AI·날짜·지역·언어·로그인 상태로 돌렸나조건이 다르면 같은 질문도 다른 답이 나온다
「나왔다」를 무엇으로 셌고, 분모는 무엇인가같은 결과가 15.864%도 40%도 된다
지난달과 같은 질문 목록인가목록이 바뀌면 오르내림을 비교할 수 없다

특히 점수 하나만 보여 주는 보고서라면 질문 목록과 계산 기준을 함께 달라고 하는 것이 좋다. 연구에서도 점수 하나보다 조건을 밝힌 기록과 비중을 바꿨을 때 점수가 움직이는 범위를 함께 보는 방법을 제안했다.

질문 목록은 고정 질문, 고객이 요즘 묻는 말을 반영하는 질문, 새로운 상황을 시험하는 질문으로 나눠 관리할 수 있다. 세 종류의 결과를 섞지 않고 따로 보면 지난달과 비교할 때 무엇이 달라졌는지도 더 분명해진다.

결국 AI 노출 점수는 「몇 %인가」만으로 끝나는 숫자가 아니다. 그 숫자가 어떤 질문에서 나왔고, 어떤 비중과 기준으로 계산됐는지를 함께 봐야 실제 고객이 가게를 찾는 상황과 얼마나 가까운지 판단할 수 있다.

① 질문 묶음의 비중만 바꿔도 AI 답이 뜬 비율이 39.66%에서 70.54%로 달라질 수 있다 ② 분모를 「AI 답이 뜬 질문」으로 바꾸면 같은 결과가 약 1.42~2.52배 커 보일 수 있다 ③ 제품 이름을 넣은 질문에서는 336번 중 334번, 이름 없이 찾는 질문에서는 784번 중 26번 등장한 실험이 있다 ④ 보고서를 받으면 질문 수·이름 넣은 질문 비율·비중·셈 기준·목록 변경 5가지를 먼저 확인한다

같이 읽을 글

자료 출처

작성일

#측정 #AI 노출 점수 #질문 목록 #측정 도구 #대행사 보고서

← 칼럼 목록
무료로 신청하기→