# 쇼핑 AI에 우리 상품이 한 번 나오면 된 걸까?

_한 번의 노출보다 여러 번 나온 비율을 봐야 한다_

> 잘란도 쇼핑 비서는 같은 질문에도 결과가 달라졌다. 51건의 대화를 다시 확인했을 때 첫 상품이 맞는 비율은 83.3%, 8칸 전체가 맞는 비율은 64.0%였다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/shopping-ai-same-question-different-products
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-01

쇼핑 AI에서 우리 상품이 한 번 나왔다고 해서 노출이 안정됐다고 보기는 어렵다. 잘란도 쇼핑 비서도 같은 요청에 다른 상품을 보여 줬고, 「75% 이상 맞음」 기준은 아무것도 바꾸지 않아도 회차마다 ±7.6%p 흔들렸다. 그래서 중요한 것은 한 번 나왔는지가 아니라, 같은 질문을 여러 번 했을 때 몇 번 나오는지다.

한 번 나온 것은 노출을 확인한 첫 기록일 뿐이다.

## 한 번 나왔으면 된 것 아닌가?

그렇지 않다. 쇼핑 AI는 질문을 받을 때마다 검색어를 만들고 상품을 다시 고른다. 이 과정에서 AI 부품의 답이 달라질 수 있고, 판매 상품과 가격, 재고도 달라질 수 있다.

고객의 정보도 영향을 줄 수 있다. 사이즈나 브랜드, 지난 이용 기록이 들어가면 같은 문장을 물어도 결과가 달라질 수 있다. 첫 질문 뒤에 이어지는 대화까지 달라질 수 있다는 점도 봐야 한다.

| 결과가 달라지는 이유 | 비서 안에서 일어나는 일 | 사장님이 확인할 때의 뜻 |
|---|---|---|
| AI 부품이 매번 다르게 답함 | 한 번 대답할 때 검색어 1~3개를 새로 만들고 상품을 다시 고름 | 같은 날 같은 문장도 결과가 다를 수 있다 |
| 판매 상품·가격·재고 변화 | 시장마다 다르고 날마다 바뀜 | 품절·가격 변경일에는 결과가 달라진다 |
| 고객 개인 정보 | 동의한 고객의 사이즈·브랜드·지난 이용 기록이 들어감 | 사장님 휴대폰 화면이 고객 화면과 다를 수 있다 |
| 이어서 묻는 대화 | 답이 바뀌면 고객의 다음 질문도 바뀜 | 첫 질문 하나만 봐서는 부족하다 |

잘란도 연구진은 2026년 9월 자기 회사 쇼핑 비서를 평가하면서 같은 요청이 다른 상품을 돌려주는 이유를 확인했다. 이 비서는 20여 개 시장에서 한 달 수백만 건의 대화를 처리하고 있었지만, 같은 요청을 반복해도 결과가 같지 않았다.

## 몇 번 나와야 믿을 수 있나?

한 번의 결과보다 여러 번의 결과가 중요하다. 잘란도 연구에서는 아무것도 바꾸지 않은 비서를 최소 3번 돌려 기준값을 만들었다. 고친 비서도 같은 장면에서 같은 횟수만큼 돌려 두 결과를 비교했다.

상품이 맞는지도 한 가지 기준으로만 보지 않았다. 목록 안에 맞는 상품이 하나라도 있는지, 첫 번째 상품이 맞는지, 75% 이상 맞는지, 전부 맞는지를 따로 봤다.

| 채점 기준(고객이 말한 종류와 맞나) | 고치기 전 | 고친 뒤 | 차이 |
|---|---|---|---|
| 하나라도 맞음 | 91.3%(±1.2) | 94.7%(±2.3) | +3.3%p |
| 첫 번째 상품이 맞음 | 83.3%(±2.3) | 89.3%(±3.1) | +6.0%p |
| 75% 이상 맞음 | 73.3%(±7.6) | 74.7%(±3.1) | +1.3%p |
| 전부 맞음 | 64.0%(±4.0) | 64.7%(±4.1) | +0.7%p |

여기서 차이가 눈에 띈다. 맞는 상품이 하나라도 있는 경우는 91.3%였지만 첫 번째 상품이 맞는 경우는 83.3%, 8칸이 모두 맞는 경우는 64.0%였다. 상품이 한 번 노출됐다는 사실만으로는 목록 전체에서 얼마나 안정적으로 나오는지 알 수 없다.

## 고쳐서 더 잘 나오면 바로 적용하면 되나?

그것도 조심해야 한다. 잘란도 연구에서는 상품을 고르는 단계에 요청한 종류 밖의 상품을 내지 말라는 규칙을 넣었다. 첫 번째 상품이 맞는 비율은 6.0%p 올랐지만, 목록 전체가 맞는 비율은 0.7%p 오르는 데 그쳤다.

더 중요한 것은 평균이 올랐다는 사실만으로 수정안을 채택하지 않았다는 점이다. ①번 수정은 평균이 올랐지만 개선 구간이 −2.2~+17.8%p로 0을 걸쳐 판단을 보류했다. 반면 ②번은 +6.7~+51.1%p였고, 3번 더 돌려도 재현돼 사람 검토로 넘어갔다.

| 고친 방법 | 첫 상품 개선 폭(구간) | 판정 | 결과 |
|---|---|---|---|
| ① 도구 설명문 수정 | −2.2~+17.8%p | 판단 보류 | 평균은 올랐지만 채택 안 함 |
| ② 쇼핑 코너(남성/여성)를 반드시 따를 조건으로 지정 | +6.7~+51.1%p | 나아짐 | 3번 더 돌려도 재현, 사람 검토로 넘어감 |
| 과제 완수 점수(5점 만점, 기준 4.27) | ②에서 +0.22~+1.20점 | 나빠지지 않아야 하는 항목 | 오른 것만으로 채택 사유는 아님 |

이 차이가 사장님에게 주는 의미는 단순하다. 한두 번 결과가 좋아졌다고 바로 효과가 있다고 판단하기보다, 같은 조건에서 다시 나오는지를 확인해야 한다. 특히 몇 %p 차이는 회차마다 생기는 흔들림일 수 있다.

## 그럼 우리 가게는 어떻게 확인하나?

복잡한 평가 시스템을 만들 필요는 없다. 같은 질문을 최소 3번 묻고, 가능하면 날을 바꿔서 결과를 적어 두면 된다. 예를 들어 「10번 중 몇 번 나왔는가」처럼 기록하면 한 번의 우연한 노출과 반복되는 노출을 구분하기 쉬워진다.

첫 번째 자리에 나왔는지와 전체 목록 안에 나왔는지도 나눠서 보는 것이 좋다. 가격이나 재고, 상품명을 바꾼 날에는 결과가 달라질 수 있으므로 변경한 내용도 함께 적어 두는 편이 낫다.

첫 답만 보지 말고 이어지는 질문도 확인해야 한다. 잘란도 연구에서는 상품을 찾는 대화뿐 아니라 주문 문의도 있었고, 고객이 이어서 묻는 대화의 특성도 결과에 영향을 줄 수 있었다.

| 할 일 | 기준 | 근거 |
|---|---|---|
| 같은 질문을 여러 번 묻기 | 한 질문을 최소 3번, 가능하면 날을 바꿔서 | 잘란도 기준값은 최소 3회, 성별 조사는 5회 |
| 비율로 적기 | 「10번 중 몇 번 나왔나」 | 같은 목록 1% 미만, 나온 비율은 비교적 꾸준함 |
| 첫 자리와 목록 전체 따로 보기 | 첫 번째인지, 8칸 안 어딘지 | 첫 자리 83% vs 전부 64% |
| 바뀐 날 적어 두기 | 가격·재고·상품명 바꾼 날 | 판매 상품·가격이 날마다 바뀜 |
| 이어서 묻는 질문까지 해 보기 | 첫 답 뒤 한두 번 더 | 이어서 묻는 사용자 42.3%(오픈서베이 2026.7) |
| 작은 차이는 보류 | 몇 %p 차이는 더 재 보고 판단 | 잡음 기준 5%p, ①은 평균이 올라도 보류 |

## 다른 쇼핑 AI도 똑같이 흔들리나?

범용 AI를 대상으로 한 조사에서도 비슷한 결과가 나왔다. 스파크토로와 검슈는 2026년 1월 자원자 600명에게 질문 12개를 넣게 해 총 2,961번 답을 받았다. 같은 질문을 100번 했을 때 똑같은 브랜드 목록이 두 번 나올 확률은 1%가 안 됐고, 순서까지 같을 확률은 약 0.1%였다.

그렇다고 결과를 전혀 측정할 수 없는 것은 아니다. 여러 번 물었을 때 특정 브랜드가 몇 번 나왔는지는 비교에 쓸 수 있는 지표였다. 조사에서는 한 암 병원이 71번 중 69번 나왔고, 헤드폰 브랜드들은 55~77% 사이에서 나타났다.

| 조사 | 표본 | 흔들림 | 쓸 만한 지표 |
|---|---|---|---|
| 잘란도 쇼핑 비서(2026.9) | 실제 대화 51건·장면 10개, 회차 3~5번 | 「75% 이상 맞음」 ±7.6%p, 개선 구간 −2.2~+17.8%p | 여러 번 돌린 평균과 구간 |
| 스파크토로·검슈(2026.1) | 자원자 600명·2,961번 | 같은 목록 1% 미만, 같은 순서 약 0.1% | 나온 비율(97%, 55~77%) |
| AI사이트코리아 실측(2026.9.15) | 4개 엔진 | — | 회사 이름 노출 0곳 |

한국에서도 쇼핑 AI 비서가 들어오고 있다. 네이버는 2026년 2월 26일 네이버플러스 스토어 앱에 쇼핑 AI 에이전트 베타를 발표했고, 디지털·리빙·생활 분야부터 시작해 상반기 안에 뷰티·식품으로 넓히겠다고 밝혔다.

다만 이 자료만으로 한국 쇼핑 AI에서 노출이 얼마나 흔들리는지는 알 수 없다. 한국 쇼핑 비서나 챗GPT 쇼핑의 실제 흔들림을 이 연구가 측정한 것은 아니기 때문이다.

결국 사장님이 먼저 해야 할 일은 한 번 검색해 보고 안심하는 것이 아니다. 같은 질문을 여러 번 던지고, 우리 상품이 몇 번 나오는지 기록하는 것이다. 한 번의 노출은 결과이고, 반복해서 나오는 비율은 확인해야 할 기록이다.

요점 ① 같은 질문을 3번 이상 반복해 한 번의 노출과 반복 노출을 구분해야 한다. ② 잘란도 조사에서 첫 상품이 맞는 비율은 83.3%, 8칸 전체가 맞는 비율은 64.0%였다. ③ 「75% 이상 맞음」 기준은 아무것도 바꾸지 않아도 회차마다 ±7.6%p 흔들렸다. ④ 범용 AI 조사에서는 같은 목록이 두 번 나올 확률이 1% 미만이어서, 노출은 나온 비율로 보는 것이 중요했다.

## 같이 읽을 글

 

- 우리 가게가 챗GPT에 얼마나 나오는지 한 번에 알 수 있을까?

- AI가 만든 고객 질문으로 노출을 재도 괜찮을까?

- AI가 고른 광고, 그대로 따라도 될까?

- 쇼핑 AI가 상품 제목을 덜 볼까?
 

## 자료 출처

 

- On Evaluating and Improving Conversational Agents in Production(Zalando SE·arXiv 2609.32092·2026년 9월 제출, 실제 대화 51건·장면 10개)

- 같은 논문 HTML 본문(표 1·6절 조사 결과·7절 한계)

- NEW Research: AIs are highly inconsistent when recommending brands or products(스파크토로·검슈·2026.1.28, 자원자 600명·2,961번)

- AI Recommendations Change With Nearly Every Query: Sparktoro(서치엔진저널·2026.1, 같은 조사 보도)

- Zalando brings its AI-powered assistant to all markets(잘란도·2024.10.1, 25개 시장)

- 네이버, 개인 맞춤형 쇼핑 도와주는 'AI 에이전트' 출시(아시아경제·2026.2.26)