고객이 바꾼 조건을 쇼핑 챗봇은 끝까지 기억할까?

쇼핑 챗봇이 고객의 조건을 끝까지 지키게 하려면 AI의 기억에만 맡겨서는 안 된다. 말을 알아듣는 일은 AI가 하고, 가격이나 브랜드 같은 조건을 지키는 일은 상품 데이터베이스가 맡게 하는 방식이 더 안정적이었다. 스탠퍼드 연구진의 실험에서 이런 구조의 챗봇은 140개 질문 중 87.1%를 통과했고, 같은 상품 목록을 받은 GPT-4o 미니는 72.1%, 제미나이 2.5 플래시 라이트는 68.6%였다.

고객이 「이 브랜드는 빼 달라」고 하면 어떻게 할까?

연구진이 만든 쇼핑 챗봇은 두 부분으로 나뉜다. 쇼핑 에이전트는 고객의 말을 알아듣고 예산, 제외할 브랜드, 필요한 사양을 조건 칸에 옮긴 뒤 답을 만든다. 판매자 에이전트는 이 조건을 받아 상품 데이터베이스에서 맞는 상품만 꺼낸다.

이렇게 나누면 쇼핑 에이전트가 상품을 직접 찾지 않는다. 상품 목록에 없는 제품이나 틀린 가격을 답으로 만들어 낼 수 없게 하는 구조다. 두 에이전트는 구글의 쇼핑 규약인 UCP나 오픈AI의 결제 규약인 ACP로 대화한다.

고객이 중간에 조건을 바꾸면?

고객이 「예산을 더 낮출게요」라고 하면 예산 조건을 새 값으로 바꾼다. 「HP도 괜찮아요」라고 하면 앞서 제외했던 브랜드를 다시 조건에 넣는다.

맞는 상품이 3개보다 적으면 덜 중요한 사양부터 조건을 풀 수 있다. 다만 가격 상한과 제외한 브랜드는 끝까지 유지하고, 어떤 조건을 풀었는지도 고객에게 밝힌다.

이 부분이 작은 쇼핑몰에서 중요하다. 챗봇이 앞에서 들은 말을 단순히 기억하는 것만으로는 부족하다. 지금 적용되는 조건을 따로 관리하고, 그 조건으로 상품을 다시 걸러내는 과정이 필요하다.

한 번 묻는 질문에서도 차이가 날까?

연구진은 학생, 직장인, 게이머, 여행자를 가정해 질문 140개를 만들었다. 구체적인 조건이 있는 질문이 85개였고, 막연한 질문이 55개였다.

비교 대상인 GPT-4o 미니와 제미나이 2.5 플래시 라이트에는 같은 상품 후보 8개를 넘겼고 웹 검색은 막았다. 따라서 차이는 상품을 찾을 수 있는 검색 능력보다 조건을 어떻게 지키는지에서 나타났다.

답변 글 자체의 품질은 세 챗봇이 비슷했다. 오히려 제미나이의 답변 글 품질 점수가 가장 높았다. 하지만 조건을 지키는 능력에서는 차이가 있었다.

연구진이 데이터베이스의 조건 걸러내기를 끄자 브랜드 제외 조건을 지킨 점수가 1.000에서 0.684로 떨어졌다. 문장을 잘 쓰는 것과 고객이 말한 조건을 지키는 것은 별개의 문제였던 셈이다.

여러 번 대화하면 무엇을 놓칠까?

차이는 대화가 길어질 때 더 분명해졌다. 연구진은 조건이 계속 쌓이거나, 기존 조건이 바뀌거나, 취소되는 대화 10가지를 만들고 각각 3~5번씩 주고받게 한 뒤 5번씩 시험했다.

「뺀 브랜드를 다시 넣어 달라」는 대화에서는 데이터베이스 챗봇이 100%를 기록했다. GPT-4o 미니는 20%, 제미나이는 0%였다.

반대로 모든 상황에서 데이터베이스 방식이 완벽했던 것은 아니다. 브랜드 제외를 네 턴 동안 유지하는 대화에서는 20%로 낮았고, 게임용에서 영상 편집용으로 용도를 바꾸는 대화에서는 세 챗봇 모두 0%였다. 연구진은 브랜드 제외 결과에 대해 5번만 돌린 한 가지 대화의 흔들림이 영향을 줬다고 봤다.

특히 조건을 저장하는 칸을 매번 비우자 전체 합격률이 72%에서 52%로 떨어졌다. 조건 쌓기와 예산 바꾸기 대화는 100%에서 0%가 됐다. 대화의 앞부분에서 고객이 말한 조건을 계속 관리하는 장치가 필요한 이유다.

없는 상품을 물으면 어떻게 해야 할까?

쇼핑 챗봇은 상품을 추천하는 것만큼 없는 상품을 없다고 말하는 것도 중요하다. 연구진은 「150달러짜리 RTX 4090 노트북」처럼 상품 목록에 있을 수 없는 요청 8개를 시험했다.

데이터베이스 챗봇은 조건에 맞는 상품을 찾을 수 없는 상황에서 그 사실을 밝히는 쪽으로 작동했다. 반면 상품 목록만 받은 두 챗봇은 이미 조건이 풀린 목록을 전달받았기 때문에, 그 목록만으로는 요청 자체가 불가능한지 알아채기 어려웠다.

작은 쇼핑몰에서도 이 차이를 확인할 필요가 있다. 고객의 조건을 만족하는 상품이 없을 때 억지로 비슷한 상품을 추천하는지, 아니면 맞출 수 없는 조건이라고 알려주는지를 챗봇 업체에 확인해야 한다.

챗봇 업체에 무엇을 물어봐야 할까?

이번 실험이 작은 쇼핑몰에 직접 지시한 내용은 아니다. 다만 실험 결과에서 챗봇을 만들거나 맡길 때 확인할 질문을 뽑아볼 수 있다(예상).

첫 번째로 볼 것은 상품 정보가 문장으로만 있는지다. 사양이 상품 설명 속에만 있고 가격, 브랜드, 사양 등이 각각의 칸으로 나뉘어 있지 않다면 데이터베이스가 조건을 걸러낼 재료가 없다.

두 번째는 대화 중 바뀐 조건을 따로 저장하는지다. 예산을 낮추거나 제외했던 브랜드를 다시 허용하는 것처럼 고객의 조건이 바뀌면 기존 조건을 정확히 수정해야 한다.

세 번째는 조건을 풀어야 할 때 그 사실을 알려주는지다. 맞는 상품이 부족해서 일부 조건을 완화했다면 무엇을 풀었는지 고객이 알 수 있어야 한다.

이번 연구는 노트북과 액세서리 한 분야만 대상으로 했다. 질문도 연구진이 직접 만들었고, 답변 품질은 사람이 아니라 GPT-4o 미니가 평가했다. 따라서 모든 쇼핑몰의 챗봇 성능을 그대로 보여주는 실험은 아니다.

그래도 작은 쇼핑몰이 챗봇을 고를 때 확인할 기준은 분명하다. 「AI가 대화를 잘하나요?」만 물을 것이 아니라 「고객의 조건을 어디에 저장하고, 실제 상품은 어디서 걸러내나요?」까지 확인해야 한다.

같이 읽을 글

• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
• AI가 물건을 사 주면 우리 가게는 어디에 있어야 할까?
• 우리 쇼핑몰, AI가 가격·재고·반품을 확인할 수 있게 돼 있을까?
• AI 쇼핑 비서는 고객 조건을 어디서 놓칠까?

자료 출처

• MACS: A Hybrid Multi-Agent Framework for Reliable Conversational E-Commerce Recommendation(Huang·Clay·Sarda 등, 스탠퍼드대, 2026년 8월 arXiv 제출, 질문 140·225개·대화 10가지)
• Universal Commerce Protocol(UCP) 개발자 문서(구글)
• Cleo: A Transparent and Controllable Chatbot for Conversational Commerce(GESIS, CHIIR 2026, 노트북 3,638개로 순위 근거를 보여 주는 챗봇)
• ShoppingBench: A Real-World Intent-Grounded Shopping Benchmark for LLM-based Agents(쇼핑 에이전트 평가 선행 연구)
• AI 포용 관점에서 본 생성형 AI 이용 격차(정보통신정책연구원 KISDI STAT Report 26-04, 2026.4.15 — 임금근로자 39.7%·고용주 20.5%·단독자영업자 12.6%)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment(연구에 쓴 AI 채점 방식)