# 고객이 바꾼 조건을 쇼핑 챗봇은 끝까지 기억할까?

_AI가 말을 알아듣는 것과 상품 조건을 지키는 것은 다르다_

> 스탠퍼드 연구진의 노트북 쇼핑 챗봇 실험에서 조건을 데이터베이스가 걸러낸 챗봇은 140개 질문 중 87.1%를 통과했다. 작은 쇼핑몰이 챗봇을 맡길 때 확인할 기준을 정리했다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/store-chatbot-conditions-in-database-87-vs-72-percent
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-29

쇼핑 챗봇이 고객의 조건을 끝까지 지키게 하려면 AI의 기억에만 맡겨서는 안 된다. 말을 알아듣는 일은 AI가 하고, 가격이나 브랜드 같은 조건을 지키는 일은 상품 데이터베이스가 맡게 하는 방식이 더 안정적이었다. 스탠퍼드 연구진의 실험에서 이런 구조의 챗봇은 140개 질문 중 87.1%를 통과했고, 같은 상품 목록을 받은 GPT-4o 미니는 72.1%, 제미나이 2.5 플래시 라이트는 68.6%였다.

말을 알아듣는 일은 AI에게, 조건을 지키는 일은 상품 데이터베이스에게 맡기는 방식이 핵심이다.

## 고객이 「이 브랜드는 빼 달라」고 하면 어떻게 할까?

연구진이 만든 쇼핑 챗봇은 두 부분으로 나뉜다. 쇼핑 에이전트는 고객의 말을 알아듣고 예산, 제외할 브랜드, 필요한 사양을 조건 칸에 옮긴 뒤 답을 만든다. 판매자 에이전트는 이 조건을 받아 상품 데이터베이스에서 맞는 상품만 꺼낸다.

이렇게 나누면 쇼핑 에이전트가 상품을 직접 찾지 않는다. 상품 목록에 없는 제품이나 틀린 가격을 답으로 만들어 낼 수 없게 하는 구조다. 두 에이전트는 구글의 쇼핑 규약인 UCP나 오픈AI의 결제 규약인 ACP로 대화한다.

| 챗봇 구성 | 규모·속도 |
|---|---|
| 상품 데이터베이스 | 2만 1,000개 이상(노트북 1,490개 이상) |
| 노트북 1개당 정리한 사양 칸 | 12개(CPU·램·그래픽·저장장치·화면·배터리·무게·운영체제·가격·브랜드·후기 수·별점) |
| 비슷한 상품·호환 액세서리 연결 | 점 2,400개·연결 8,500개, 찾는 데 약 17밀리초 |
| 상품 검색(처음 / 저장된 결과 재사용) | 446밀리초 / 36밀리초 |
| 추천 한 번 전체 걸린 시간 | 약 4.6초(그중 AI 글 생성이 85~92%) |

## 고객이 중간에 조건을 바꾸면?

고객이 「예산을 더 낮출게요」라고 하면 예산 조건을 새 값으로 바꾼다. 「HP도 괜찮아요」라고 하면 앞서 제외했던 브랜드를 다시 조건에 넣는다.

맞는 상품이 3개보다 적으면 덜 중요한 사양부터 조건을 풀 수 있다. 다만 가격 상한과 제외한 브랜드는 끝까지 유지하고, 어떤 조건을 풀었는지도 고객에게 밝힌다.

이 부분이 작은 쇼핑몰에서 중요하다. 챗봇이 앞에서 들은 말을 단순히 기억하는 것만으로는 부족하다. 지금 적용되는 조건을 따로 관리하고, 그 조건으로 상품을 다시 걸러내는 과정이 필요하다.

## 한 번 묻는 질문에서도 차이가 날까?

연구진은 학생, 직장인, 게이머, 여행자를 가정해 질문 140개를 만들었다. 구체적인 조건이 있는 질문이 85개였고, 막연한 질문이 55개였다.

비교 대상인 GPT-4o 미니와 제미나이 2.5 플래시 라이트에는 같은 상품 후보 8개를 넘겼고 웹 검색은 막았다. 따라서 차이는 상품을 찾을 수 있는 검색 능력보다 조건을 어떻게 지키는지에서 나타났다.

| 챗봇 | 합격률 | 브랜드 제외 지킴 | 답변 글 품질 |
|---|---|---|---|
| 데이터베이스가 조건을 거르는 챗봇 | 87.1% | 1.000 | 0.394 |
| GPT-4o 미니 + 상품 목록 | 72.1% | 1.000 | 0.392 |
| 제미나이 2.5 플래시 라이트 + 상품 목록 | 68.6% | 0.833 | 0.427 |

답변 글 자체의 품질은 세 챗봇이 비슷했다. 오히려 제미나이의 답변 글 품질 점수가 가장 높았다. 하지만 조건을 지키는 능력에서는 차이가 있었다.

연구진이 데이터베이스의 조건 걸러내기를 끄자 브랜드 제외 조건을 지킨 점수가 1.000에서 0.684로 떨어졌다. 문장을 잘 쓰는 것과 고객이 말한 조건을 지키는 것은 별개의 문제였던 셈이다.

## 여러 번 대화하면 무엇을 놓칠까?

차이는 대화가 길어질 때 더 분명해졌다. 연구진은 조건이 계속 쌓이거나, 기존 조건이 바뀌거나, 취소되는 대화 10가지를 만들고 각각 3~5번씩 주고받게 한 뒤 5번씩 시험했다.

| 대화 유형(5번 중 합격 비율) | 데이터베이스 챗봇 | GPT + 목록 | 제미나이 + 목록 |
|---|---|---|---|
| 뺀 브랜드 다시 넣기 | 100% | 20% | 0% |
| 조건 네 번 쌓기 | 100% | 60% | 40% |
| 첫 말에 조건 여러 개 | 100% | 80% | 80% |
| 두 상품 비교 뒤 이어 묻기 | 40% | 0% | 0% |
| 브랜드 제외 유지 | 20% | 40% | 40% |
| 용도 바꾸기(게임 → 영상 편집) | 0% | 0% | 0% |
| 전체 10가지 평균 | 72% | 56% | 52% |

「뺀 브랜드를 다시 넣어 달라」는 대화에서는 데이터베이스 챗봇이 100%를 기록했다. GPT-4o 미니는 20%, 제미나이는 0%였다.

반대로 모든 상황에서 데이터베이스 방식이 완벽했던 것은 아니다. 브랜드 제외를 네 턴 동안 유지하는 대화에서는 20%로 낮았고, 게임용에서 영상 편집용으로 용도를 바꾸는 대화에서는 세 챗봇 모두 0%였다. 연구진은 브랜드 제외 결과에 대해 5번만 돌린 한 가지 대화의 흔들림이 영향을 줬다고 봤다.

특히 조건을 저장하는 칸을 매번 비우자 전체 합격률이 72%에서 52%로 떨어졌다. 조건 쌓기와 예산 바꾸기 대화는 100%에서 0%가 됐다. 대화의 앞부분에서 고객이 말한 조건을 계속 관리하는 장치가 필요한 이유다.

## 없는 상품을 물으면 어떻게 해야 할까?

쇼핑 챗봇은 상품을 추천하는 것만큼 없는 상품을 없다고 말하는 것도 중요하다. 연구진은 「150달러짜리 RTX 4090 노트북」처럼 상품 목록에 있을 수 없는 요청 8개를 시험했다.

| 불가능한 요청 8개 | 솔직하게 밝힘 점수 |
|---|---|
| 데이터베이스 챗봇 | 0.925 |
| GPT + 목록 | 0.588 |
| 제미나이 + 목록 | 0.550 |

데이터베이스 챗봇은 조건에 맞는 상품을 찾을 수 없는 상황에서 그 사실을 밝히는 쪽으로 작동했다. 반면 상품 목록만 받은 두 챗봇은 이미 조건이 풀린 목록을 전달받았기 때문에, 그 목록만으로는 요청 자체가 불가능한지 알아채기 어려웠다.

작은 쇼핑몰에서도 이 차이를 확인할 필요가 있다. 고객의 조건을 만족하는 상품이 없을 때 억지로 비슷한 상품을 추천하는지, 아니면 맞출 수 없는 조건이라고 알려주는지를 챗봇 업체에 확인해야 한다.

## 챗봇 업체에 무엇을 물어봐야 할까?

이번 실험이 작은 쇼핑몰에 직접 지시한 내용은 아니다. 다만 실험 결과에서 챗봇을 만들거나 맡길 때 확인할 질문을 뽑아볼 수 있다(예상).

| 업체에 물어볼 것(예상) | 근거가 된 결과 |
|---|---|
| 가격 상한·브랜드 제외를 AI 문장이 아니라 상품 목록 필터로 거르는가 | 걸러내기를 끄자 브랜드 지킴 1.000 → 0.684 |
| 대화 중 바뀐 예산·취소한 조건을 따로 저장하는가 | 조건 칸을 비우자 72% → 52% |
| 맞는 상품이 없을 때 무엇을 풀었는지 고객에게 말하는가 | 솔직하게 밝힘 0.925 대 0.550~0.588 |
| 우리 상품의 사양이 칸으로 정리돼 있는가 | 노트북 1개당 사양 칸 12개로 걸러냄 |

첫 번째로 볼 것은 상품 정보가 문장으로만 있는지다. 사양이 상품 설명 속에만 있고 가격, 브랜드, 사양 등이 각각의 칸으로 나뉘어 있지 않다면 데이터베이스가 조건을 걸러낼 재료가 없다.

두 번째는 대화 중 바뀐 조건을 따로 저장하는지다. 예산을 낮추거나 제외했던 브랜드를 다시 허용하는 것처럼 고객의 조건이 바뀌면 기존 조건을 정확히 수정해야 한다.

세 번째는 조건을 풀어야 할 때 그 사실을 알려주는지다. 맞는 상품이 부족해서 일부 조건을 완화했다면 무엇을 풀었는지 고객이 알 수 있어야 한다.

이번 연구는 노트북과 액세서리 한 분야만 대상으로 했다. 질문도 연구진이 직접 만들었고, 답변 품질은 사람이 아니라 GPT-4o 미니가 평가했다. 따라서 모든 쇼핑몰의 챗봇 성능을 그대로 보여주는 실험은 아니다.

그래도 작은 쇼핑몰이 챗봇을 고를 때 확인할 기준은 분명하다. 「AI가 대화를 잘하나요?」만 물을 것이 아니라 「고객의 조건을 어디에 저장하고, 실제 상품은 어디서 걸러내나요?」까지 확인해야 한다.

① 조건을 데이터베이스가 거른 챗봇은 140개 질문에서 87.1%를 통과했고 GPT-4o 미니는 72.1%였다 ② 뺀 브랜드를 다시 넣는 대화는 데이터베이스 챗봇 100%, GPT 20%, 제미나이 0%였다 ③ 조건 칸을 비우자 전체 합격률이 72%에서 52%로, 걸러내기를 끄자 브랜드 지킴 점수가 1.000에서 0.684로 떨어졌다 ④ 없는 상품 요청에서는 데이터베이스 챗봇의 솔직하게 밝힘 점수가 0.925였고 GPT는 0.588, 제미나이는 0.550이었다

## 같이 읽을 글

 

- 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?

- AI가 물건을 사 주면 우리 가게는 어디에 있어야 할까?

- 우리 쇼핑몰, AI가 가격·재고·반품을 확인할 수 있게 돼 있을까?

- AI 쇼핑 비서는 고객 조건을 어디서 놓칠까?
 

## 자료 출처

 

- MACS: A Hybrid Multi-Agent Framework for Reliable Conversational E-Commerce Recommendation(Huang·Clay·Sarda 등, 스탠퍼드대, 2026년 8월 arXiv 제출, 질문 140·225개·대화 10가지)

- Universal Commerce Protocol(UCP) 개발자 문서(구글)

- Cleo: A Transparent and Controllable Chatbot for Conversational Commerce(GESIS, CHIIR 2026, 노트북 3,638개로 순위 근거를 보여 주는 챗봇)

- ShoppingBench: A Real-World Intent-Grounded Shopping Benchmark for LLM-based Agents(쇼핑 에이전트 평가 선행 연구)

- AI 포용 관점에서 본 생성형 AI 이용 격차(정보통신정책연구원 KISDI STAT Report 26-04, 2026.4.15 — 임금근로자 39.7%·고용주 20.5%·단독자영업자 12.6%)

- G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment(연구에 쓴 AI 채점 방식)