쇼핑 AI에 우리 상품이 한 번 나오면 된 걸까?

쇼핑 AI에서 우리 상품이 한 번 나왔다고 해서 노출이 안정됐다고 보기는 어렵다. 잘란도 쇼핑 비서도 같은 요청에 다른 상품을 보여 줬고, 「75% 이상 맞음」 기준은 아무것도 바꾸지 않아도 회차마다 ±7.6%p 흔들렸다. 그래서 중요한 것은 한 번 나왔는지가 아니라, 같은 질문을 여러 번 했을 때 몇 번 나오는지다.

한 번 나왔으면 된 것 아닌가?

그렇지 않다. 쇼핑 AI는 질문을 받을 때마다 검색어를 만들고 상품을 다시 고른다. 이 과정에서 AI 부품의 답이 달라질 수 있고, 판매 상품과 가격, 재고도 달라질 수 있다.

고객의 정보도 영향을 줄 수 있다. 사이즈나 브랜드, 지난 이용 기록이 들어가면 같은 문장을 물어도 결과가 달라질 수 있다. 첫 질문 뒤에 이어지는 대화까지 달라질 수 있다는 점도 봐야 한다.

잘란도 연구진은 2026년 9월 자기 회사 쇼핑 비서를 평가하면서 같은 요청이 다른 상품을 돌려주는 이유를 확인했다. 이 비서는 20여 개 시장에서 한 달 수백만 건의 대화를 처리하고 있었지만, 같은 요청을 반복해도 결과가 같지 않았다.

몇 번 나와야 믿을 수 있나?

한 번의 결과보다 여러 번의 결과가 중요하다. 잘란도 연구에서는 아무것도 바꾸지 않은 비서를 최소 3번 돌려 기준값을 만들었다. 고친 비서도 같은 장면에서 같은 횟수만큼 돌려 두 결과를 비교했다.

상품이 맞는지도 한 가지 기준으로만 보지 않았다. 목록 안에 맞는 상품이 하나라도 있는지, 첫 번째 상품이 맞는지, 75% 이상 맞는지, 전부 맞는지를 따로 봤다.

여기서 차이가 눈에 띈다. 맞는 상품이 하나라도 있는 경우는 91.3%였지만 첫 번째 상품이 맞는 경우는 83.3%, 8칸이 모두 맞는 경우는 64.0%였다. 상품이 한 번 노출됐다는 사실만으로는 목록 전체에서 얼마나 안정적으로 나오는지 알 수 없다.

고쳐서 더 잘 나오면 바로 적용하면 되나?

그것도 조심해야 한다. 잘란도 연구에서는 상품을 고르는 단계에 요청한 종류 밖의 상품을 내지 말라는 규칙을 넣었다. 첫 번째 상품이 맞는 비율은 6.0%p 올랐지만, 목록 전체가 맞는 비율은 0.7%p 오르는 데 그쳤다.

더 중요한 것은 평균이 올랐다는 사실만으로 수정안을 채택하지 않았다는 점이다. ①번 수정은 평균이 올랐지만 개선 구간이 −2.2~+17.8%p로 0을 걸쳐 판단을 보류했다. 반면 ②번은 +6.7~+51.1%p였고, 3번 더 돌려도 재현돼 사람 검토로 넘어갔다.

이 차이가 사장님에게 주는 의미는 단순하다. 한두 번 결과가 좋아졌다고 바로 효과가 있다고 판단하기보다, 같은 조건에서 다시 나오는지를 확인해야 한다. 특히 몇 %p 차이는 회차마다 생기는 흔들림일 수 있다.

그럼 우리 가게는 어떻게 확인하나?

복잡한 평가 시스템을 만들 필요는 없다. 같은 질문을 최소 3번 묻고, 가능하면 날을 바꿔서 결과를 적어 두면 된다. 예를 들어 「10번 중 몇 번 나왔는가」처럼 기록하면 한 번의 우연한 노출과 반복되는 노출을 구분하기 쉬워진다.

첫 번째 자리에 나왔는지와 전체 목록 안에 나왔는지도 나눠서 보는 것이 좋다. 가격이나 재고, 상품명을 바꾼 날에는 결과가 달라질 수 있으므로 변경한 내용도 함께 적어 두는 편이 낫다.

첫 답만 보지 말고 이어지는 질문도 확인해야 한다. 잘란도 연구에서는 상품을 찾는 대화뿐 아니라 주문 문의도 있었고, 고객이 이어서 묻는 대화의 특성도 결과에 영향을 줄 수 있었다.

다른 쇼핑 AI도 똑같이 흔들리나?

범용 AI를 대상으로 한 조사에서도 비슷한 결과가 나왔다. 스파크토로와 검슈는 2026년 1월 자원자 600명에게 질문 12개를 넣게 해 총 2,961번 답을 받았다. 같은 질문을 100번 했을 때 똑같은 브랜드 목록이 두 번 나올 확률은 1%가 안 됐고, 순서까지 같을 확률은 약 0.1%였다.

그렇다고 결과를 전혀 측정할 수 없는 것은 아니다. 여러 번 물었을 때 특정 브랜드가 몇 번 나왔는지는 비교에 쓸 수 있는 지표였다. 조사에서는 한 암 병원이 71번 중 69번 나왔고, 헤드폰 브랜드들은 55~77% 사이에서 나타났다.

한국에서도 쇼핑 AI 비서가 들어오고 있다. 네이버는 2026년 2월 26일 네이버플러스 스토어 앱에 쇼핑 AI 에이전트 베타를 발표했고, 디지털·리빙·생활 분야부터 시작해 상반기 안에 뷰티·식품으로 넓히겠다고 밝혔다.

다만 이 자료만으로 한국 쇼핑 AI에서 노출이 얼마나 흔들리는지는 알 수 없다. 한국 쇼핑 비서나 챗GPT 쇼핑의 실제 흔들림을 이 연구가 측정한 것은 아니기 때문이다.

결국 사장님이 먼저 해야 할 일은 한 번 검색해 보고 안심하는 것이 아니다. 같은 질문을 여러 번 던지고, 우리 상품이 몇 번 나오는지 기록하는 것이다. 한 번의 노출은 결과이고, 반복해서 나오는 비율은 확인해야 할 기록이다.

같이 읽을 글

• 우리 가게가 챗GPT에 얼마나 나오는지 한 번에 알 수 있을까?
• AI가 만든 고객 질문으로 노출을 재도 괜찮을까?
• AI가 고른 광고, 그대로 따라도 될까?
• 쇼핑 AI가 상품 제목을 덜 볼까?

자료 출처

• On Evaluating and Improving Conversational Agents in Production(Zalando SE·arXiv 2609.32092·2026년 9월 제출, 실제 대화 51건·장면 10개)
• 같은 논문 HTML 본문(표 1·6절 조사 결과·7절 한계)
• NEW Research: AIs are highly inconsistent when recommending brands or products(스파크토로·검슈·2026.1.28, 자원자 600명·2,961번)
• AI Recommendations Change With Nearly Every Query: Sparktoro(서치엔진저널·2026.1, 같은 조사 보도)
• Zalando brings its AI-powered assistant to all markets(잘란도·2024.10.1, 25개 시장)
• 네이버, 개인 맞춤형 쇼핑 도와주는 'AI 에이전트' 출시(아시아경제·2026.2.26)