이번 달 AI 노출 기록, 다음 달에도 믿어도 될까?
제미나이 실험에서 20.3일 뒤 예측 오차는 0.0281로, 8시간 뒤 시험의 0.0259와 거의 차이가 없었다.
이번 달에 챗GPT나 제미나이에 우리 업종을 물어보고 가게 이름이 몇 번 나왔는지 기록했다면, 그 기록은 다음 달 계획에 활용할 수 있다. 제미나이 실험에서는 같은 질문을 20.3일 뒤 다시 물어도 과거 기록으로 예측한 결과가 거의 달라지지 않았다. 다만 이 결과는 같은 모델이 검색 없이 답한 경우에 해당하므로, 동네 가게의 AI 노출도 똑같이 안정적이라고 단정할 수는 없다.
같은 질문을 여러 번 물어 기록하고, 한 달에 한 번 다시 측정하되 모델 버전과 검색 여부가 달라졌다면 결과를 따로 살펴봐야 한다.
이번 달에 잰 기록, 얼마나 오래 믿어도 될까?
폴란드 브로츠와프의 AI 노출 측정 회사 랭크포AI★ 창업자는 2026년 9월 22~23일 제미나이(gemini-3.1-pro-preview)에 같은 요청 162개를 세 번 보냈다. 그리고 20.3일 뒤인 10월 13일, 같은 요청을 다시 보냈다. 앞선 기록으로 예측한 브랜드 언급 결과의 브라이어 점수는 0.0281이었다. 8시간 뒤 시험의 0.0259와 거의 같았다.
브라이어 점수는 예측과 실제 결과의 차이를 제곱해 평균 낸 값이다. 0에 가까울수록 정확하다. 이번 실험에서는 시간이 약 3주 흘러도 질문별 브랜드 언급 기록의 예측력이 크게 떨어지지 않았다.
| 측정 설계 | 숫자 |
|---|---|
| 질문 | 54개(3분야×구매 조건 3개×언어· |
| 후보 브랜드 | 12개(질문당 4개) |
| 같은 질문 반복 | 회차당 3회 |
| 회차당 요청 | 162개 |
| 회차당 판정(답×후보 브랜드) | 648개 |
| 질문×브랜드 칸 | 216개 |
| 마지막 회차 비용 | 3.94달러 |
어떤 질문을 어떻게 측정했을까?
실험은 온라인 쇼핑몰 솔루션, 프로젝트 관리 프로그램, 영업 고객관리(CRM) 세 분야를 대상으로 했다. 구매 조건과 언어, 시장을 나눠 총 54개 질문을 만들고, 질문마다 후보 브랜드 네 곳을 정했다. 질문에는 브랜드 이름을 넣지 않고 최대 다섯 개 제품을 추천해 달라고 요청했다.
답변에 후보 브랜드 이름이 나오면 1, 나오지 않으면 0으로 기록했다. 좋지 않은 평가와 함께 이름이 나와도 언급으로 셌다. 이렇게 질문과 브랜드를 조합한 216개 칸을 추적했다.
| 회차 | 수집 시각(세계 표준시) | 이름이 나온 판정 | 직전 기록과의 간격 |
|---|---|---|---|
| 1회차 | 9월 22일 19:58~20:16 | 247개 | - |
| 2회차 | 9월 22일 21:41~21:54 | 246개 | 1.5시간 |
| 3회차 | 9월 23일 05:51~06:09 | 244개 | 7.9시간 |
| 4회차(본시험) | 10월 13일 14:03~14:18 | 243개 | 20.3일 |
연구자는 첫 요청을 보내기 전에 실험 계획과 합격 기준을 공개 등록소(OSF)에 올렸다. 결과를 확인한 뒤 기준을 바꾸지 못하게 하기 위해서다. 이처럼 측정 방법을 먼저 정해 두면 기록을 해석할 때 기준이 흔들리는 일을 줄일 수 있다.
우리 가게 이름이 몇 번 나왔는지만 보면 될까?
그렇지 않다. 이번 실험에서 질문별 과거 기록을 사용한 예측의 브라이어 점수는 0.0281이었다. 반면 질문을 구분하지 않고 브랜드 전체 평균으로 예측하면 0.104로 나빠졌다. 약 3.7배 큰 오차다.
같은 브랜드라도 어떤 질문을 하느냐에 따라 답변에 등장하는 정도가 달랐다는 뜻이다. 따라서 우리 가게 이름이 전체 답변에서 몇 번 나왔는지만 세기보다, 어떤 질문에서 나왔는지를 따로 기록해야 한다.
예를 들어 우리 업종을 묻는 질문과 특정 서비스나 가격 조건을 붙인 질문은 구분해서 살펴볼 필요가 있다. 측정의 핵심은 단순히 이름이 등장한 횟수가 아니라, 고객이 실제로 할 법한 질문마다 우리 가게가 얼마나 꾸준히 등장하는지 확인하는 데 있다.
| 예측 방법 | 브라이어 점수(낮을수록 정확) |
|---|---|
| 질문별 과거 9번 답의 언급 비율(주 예측) | 0.0281 |
| 가장 최근 회차 3번 답만 | 0.0292 |
| 가장 오래된 회차 3번 답만 | 0.0346 |
| 브랜드 전체 평균(질문 무시) | 0.104 |
| 12개 브랜드 전체 평균 비율 | 0.234 |
| 무조건 반반(0.5) | 0.250 |
| 참고: 미리 정한 합격 한도 | 0.0559 |
| 참고: 이론상 최저 오차 | 0.0195 |
같은 날 여러 번 물어보는 것만으로 충분할까?
이번 실험에서는 최근 회차의 답변 세 번만으로 예측해도 브라이어 점수가 0.0292였다. 아홉 번의 답변을 모아 예측한 0.0281과 큰 차이가 없었다. 기록을 쌓는 데 반드시 많은 횟수가 필요한 것은 아니라는 점을 보여준다.
반면 본시험 당일에 답변 두 번을 받아 세 번째 답을 예측한 점수는 0.0440이었다. 같은 날 두 번 물어본 기록보다 20일 전에 모은 아홉 번의 기록이 더 정확했다. 한두 번의 답변만 보고 결론을 내리기보다, 같은 질문을 반복해 얻은 비율을 살펴보는 편이 낫다는 뜻이다.
| 고정 예측(1회차 답만 사용) | 1.5시간 뒤 | 9.6시간 뒤 | 20.7일 뒤 |
|---|---|---|---|
| 질문별 기록을 브랜드 평균 쪽으로 당긴 예측 | 0.0599 | 0.0587 | 0.0604 |
| 질문 맥락을 넣은 통계 모형 | 0.0692 | 0.0723 | 0.0705 |
시간이 지나면 AI 답변은 달라지지 않을까?
이번 실험에서는 처음 한 번의 답변만으로 만든 예측을 고정하고, 시간이 지난 뒤에도 정확도가 유지되는지 확인했다. 1.5시간 뒤 점수는 0.0599, 9.6시간 뒤는 0.0587, 20.7일 뒤는 0.0604였다. 시간이 흐르면서 예측 오차가 한 방향으로 커지는 모습은 나타나지 않았다.
다만 모든 질문이 똑같이 안정적이었던 것은 아니다. 세 번 모두 이름이 나오거나 한 번도 나오지 않은 202개 칸 가운데 194개는 20일 뒤에도 상태가 그대로였다. 반면 결과가 섞여 있던 14개 칸에서는 여섯 개가 달라졌다.
| 3회차 상태 → 20일 뒤 | 칸 수 | 그대로 | 달라짐 |
|---|---|---|---|
| 3번 모두 안 나옴 | 129칸 | 125칸 | 4칸(1번 나옴 3칸· |
| 3번 모두 나옴 | 73칸 | 69칸 | 4칸(2번 나옴) |
| 1~2번 나옴(섞인 칸) | 14칸 | 8칸 | 6칸 |
즉, 꾸준히 등장하는 질문과 거의 등장하지 않는 질문은 상대적으로 안정적이었지만, 가끔 등장하는 질문은 더 주의해서 살펴볼 필요가 있다. 우리 가게가 어떤 질문에서는 꾸준히 나오고 다른 질문에서는 들쭉날쭉하다면, 그 차이를 구분해 기록하는 것이 중요하다.
동네 가게도 한 달에 한 번만 재면 될까?
이번 실험 결과만 보면 같은 모델 버전에서 질문별 기록을 매주 다시 측정해야 할 근거는 충분하지 않다. 최근 회차의 답변 세 번만 사용한 예측도 아홉 번을 모은 예측과 비슷했으므로, 한 달에 한 번 같은 질문을 세 차례씩 확인하는 방법부터 시작할 수 있다.
하지만 동네 가게의 상황은 이번 실험과 다를 수 있다. 실험에 사용한 162개 답변에서는 검색이 한 번도 일어나지 않았다. 반면 동네 가게를 추천하는 질문은 검색을 통해 정보를 가져올 수 있으며, 검색 결과에 있는 글이나 정보가 바뀌면 답변도 달라질 수 있다. 이는 이번 실험에서 직접 확인한 결과가 아니라, 동네 가게에 적용할 때 고려해야 할 가능성이다.
모델 버전도 중요하다. 이번 연구는 제미나이 한 가지 모델만 살펴봤다. 구글은 미리보기 모델이 최소 2주 전 알림 뒤 종료될 수 있다고 안내한다. 모델이 바뀌면 이전 기록을 그대로 비교하기보다 새 버전에서 다시 측정하는 편이 안전하다. 챗GPT나 네이버의 결과가 이번 실험과 같다고 볼 수도 없다.
다음 달 계획을 위해 무엇을 기록할까?
먼저 고객이 실제로 할 법한 업종 질문을 정하고, 매달 같은 질문을 세 번씩 물어본다. 날짜와 AI 이름, 모델 버전을 함께 적는다. 답변에 우리 가게 이름이 나왔는지만 기록하지 말고, 출처 링크가 붙었는지와 검색을 사용했는지도 구분한다.
그다음 질문별로 결과를 나눈다. 매번 이름이 나오는 질문, 한 번도 나오지 않는 질문, 가끔 나오는 질문을 따로 살펴보면 기록의 의미가 분명해진다. 전체 평균 하나로 모든 질문의 노출을 짐작하지 않는 것도 중요하다.
| 할 일 | 근거 숫자 |
|---|---|
| 우리 업종 질문 몇 개를 정해 한 달에 한 번, 같은 질문을 3번씩 묻고 적는다 | 최근 회차 3번만으로 0.0292, 9번 모은 값 0.0281 |
| 기록에 날짜와 함께 AI 이름· | 162개 답 모두 같은 버전, 미리보기 모델은 2주 알림 뒤 종료 가능 |
| 「매번 나옴」「한 번도 안 나옴」 질문과 「가끔 나옴」 질문을 나눠 본다 | 한쪽으로 몰린 202칸 중 194칸이 20일 뒤 그대로 |
| 우리 이름의 전체 평균 노출률로 질문별 노출을 짐작하지 않는다 | 브랜드 평균 예측 0.104, 질문별 예측 0.0281 |
| 같은 날 두 번 물어본 결과로 결론 내지 않는다 | 같은 날 두 답으로 맞힌 오차 0.0440 |
| 답에 출처 링크가 붙었는지(검색했는지) 따로 표시한다 | 이번 실험 검색 0회, 검색 답은 결과가 다를 수 있음 |
이번 연구가 알려주는 것은 AI 답변이 언제나 고정돼 있다는 사실이 아니다. 같은 모델이 검색 없이 답하는 조건에서는 여러 번 모은 질문별 기록이 약 3주 뒤에도 유효했다는 사실이다. 동네 가게는 이 결과를 측정 주기의 출발점으로 삼되, 모델이나 검색 조건이 바뀌면 다시 확인해야 한다.
요점 ① 같은 질문 162개를 20.3일 뒤 다시 측정했을 때 예측 오차는 0.0281로, 8시간 뒤 시험의 0.0259와 비슷했다. ② 한쪽으로 결과가 몰린 202개 칸 중 194개는 20일 뒤에도 그대로였고, 매번 등장하던 이름과 한 번도 등장하지 않던 이름이 서로 뒤집힌 경우는 0개였다. ③ 브랜드 전체 평균을 사용한 예측 오차는 0.104로, 질문별 기록을 사용한 0.0281보다 약 3.7배 컸다. ④ 실험의 162개 답변에서는 검색이 0회였으므로, 동네 가게는 한 달에 한 번 같은 질문을 세 번씩 측정하고 모델 버전과 출처 링크를 함께 기록해야 한다.
같이 읽을 글
- 챗GPT에 한 번 물어보고 가게가 없다고 해도 될까?
- AI 노출은 매달 무엇을 보면 되나?
- AI 노출 점수 40%, 믿어도 될까?
- 우리 가게가 AI에 나오는지 확인하려면 한 달에 얼마가 들까?
자료 출처
- Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers(랭크포AI★·arXiv 2610.19608·2026년 10월 14일 제출, 제미나이 요청 162개×4회·회차당 판정 648개)
- 같은 논문 HTML 본문(표 1~5, 4장 결과·7장 한계)
- Gemini API Models — Model version name patterns(구글 AI 개발자 문서, 안정·미리보기·최신 버전 규칙)
- Gemini deprecations(구글 AI 개발자 문서, 모델별 출시일·종료일·대체 모델)
- Grounding with Google Search(구글 AI 개발자 문서, 모델이 검색 여부를 스스로 정하는 방식)
- Verification of Forecasts Expressed in Terms of Probability(브라이어·미국기상학회 Monthly Weather Review·1950년, 브라이어 점수 원전)
작성일
← 칼럼 목록