AI 쇼핑 비서는 고객 조건을 어디서 놓칠까?
고객이 돌려 말한 조건과 후기에만 있는 정보가 AI 쇼핑 비서의 약점이다
AI 쇼핑 비서는 고객이 질문에 직접 적은 조건보다, 돌려 말했거나 따로 물어봐야 나오는 조건을 더 자주 놓친다. 가장 나은 AI도 662개 과제에서 정답률이 57.1%에 그쳤다. 특히 후기로만 확인해야 하는 정보와 고객의 표현을 상품 정보의 표현으로 바꿔야 하는 조건에서 어려움을 보였다.
AI 쇼핑 비서는 고객이 돌려 말한 조건과 후기에만 있는 사실에서 가장 많이 틀린다.
어떤 시험을 했나
동남아 쇼핑몰 쇼피 연구진은 아마존 리뷰 2023의 공개 데이터를 이용해 가상 매장을 만들었다. 상품 372만 1,595개와 후기 2,135만 1,983건을 가져왔고, 전자제품 주변 분류에 속한 상품이 많았다.
연구진은 쇼핑 과제 921개를 만든 뒤 검증을 거쳐 662개를 시험에 사용했다. 과제 하나에는 평균 10.04개의 조건이 들어갔다. 이 조건 가운데 60.1%는 고객 질문에 직접 적혀 있었고, 19.9%는 고객 프로필에 있었으며, 나머지 19.9%는 AI가 고객에게 물어봐야 알 수 있도록 만들었다.
AI는 상품을 찾는 도구 10개를 사용할 수 있었고, 최대 100단계 안에 상품 하나를 골라야 했다. 단순히 상품을 찾는 시험이 아니라, 고객이 원하는 조건을 끝까지 챙기는지를 본 시험이다.
| 항목 | 규모 |
|---|---|
| 상품 목록 | 372만 1,595개(아마존 리뷰 2023, 전자제품 주변 분류 위주) |
| 후기 | 2,135만 1,983건 |
| 과제 | 662개(후보 921개 중 71.9% 통과) |
| 과제 종류 | 8가지(상품 검색· |
| 조건 | 6,645개(과제당 평균 10.04개) |
| 조건이 있는 곳 | 질문 3,993개(60.1%) · |
| 규칙 | 도구 10개, 최대 100단계, 되묻기 최대 10번, 상품 하나만 추천 |
AI는 실제로 얼마나 맞혔나
AI 7종의 정답률은 19.5~57.1%였다. 가장 높은 정답률은 클로드 오퍼스 4.6의 57.1%였고, 가장 낮은 정답률은 큐웬3 30B의 19.5%였다.
정답률은 목표 상품을 정확하게 고르거나, 다른 상품을 골라도 모든 조건을 만족했을 때 인정됐다. 판정을 맡은 AI가 맞는 답을 틀렸다고 판단한 경우는 모델마다 1번 이하였다.
| AI | 정답률 | 조건 충족률 | 끝까지 답한 비율 | 평균 도구 사용 |
|---|---|---|---|---|
| 클로드 오퍼스 4.6 | 57.1% | 76.6% | 84.6% | 33.9회 |
| GPT-5.4 | 47.0% | 81.0% | 99.4% | 25.1회 |
| 키미 K2.6 | 46.4% | 73.4% | 88.7% | 38.2회 |
| GPT-5 | 39.6% | 76.1% | 97.7% | 24.4회 |
| 미니맥스 M2.7 | 36.6% | 73.5% | 95.6% | 31.3회 |
| GPT-5 미니 | 31.6% | 72.7% | 100.0% | 15.5회 |
| 큐웬3 30B | 19.5% | 59.0% | 100.0% | 18.3회 |
흥미로운 차이도 있었다. 오퍼스·키미·미니맥스는 상품을 오래 찾아본 뒤 고객에게 물었고, GPT 계열은 비교적 일찍 물었다. GPT-5.4는 모든 과제에서 되물었다.
오래 찾는 방식이 반드시 끝까지 답하는 방식은 아니었다. 오퍼스는 평균 33.9번 도구를 사용했지만 끝까지 답한 비율은 84.6%였다. 반면 GPT-5 미니와 큐웬3 30B는 각각 100%의 과제를 끝까지 답했다.
고객이 직접 말하지 않으면 더 어려울까
그렇다. 질문에 직접 적힌 조건보다 프로필에 있거나 AI가 물어봐야 알 수 있는 조건에서 충족률이 낮아졌다. 질문에 적힌 조건의 충족률은 모델에 따라 68.8~88.1%였지만, 프로필 조건은 43.1~72.8%로 내려갔다.
여기서 중요한 점은 AI가 프로필을 거의 열어 보지 않은 것이 아니라는 점이다. 필요한 정보를 찾고도 그 조건을 상품 선택 과정에서 끝까지 유지하지 못한 경우가 있었다.
| AI | 질문에 적힌 조건 | 프로필에 있는 조건 | 되물어야 나오는 조건 |
|---|---|---|---|
| 클로드 오퍼스 4.6 | 80.6% | 72.8% | 68.6% |
| GPT-5.4 | 88.1% | 69.8% | 70.9% |
| 키미 K2.6 | 79.9% | 63.2% | 64.1% |
| GPT-5 | 85.7% | 58.6% | 64.9% |
| 큐웬3 30B | 68.8% | 43.1% | 45.4% |
고객이 돌려 말하면 왜 어려울까
연구진의 결과를 보면 조건의 개수 자체보다 고객이 돌려 말한 조건의 개수가 더 큰 영향을 줬다. 돌려 말한 조건이 0~1개인 과제의 7종 평균 정답률은 51.8%였지만, 3개 이상이면 27.2%로 떨어졌다.
예를 들어 고객은 「예전에 쓰던 한쪽 방향 사다리꼴 선」이라고 말할 수 있지만, 상품 정보에는 「마이크로 USB」라고 적혀 있을 수 있다. 또 「벽에 걸지 않고 책상에 눕혀 두는」이라는 말은 상품 정보에서 「탁상형」으로 적혀 있을 수 있다.
고객이 쓰는 말과 상품 페이지에서 쓰는 말이 다르면 AI가 두 표현을 연결해야 한다. 연구진도 AI에게 매장 목록이 고객 표현과 다른 속성 용어를 사용할 수 있다고 안내했다.
| 과제 묶음 | 과제 수 | 7종 평균 정답률 | GPT-5.4 정답률 |
|---|---|---|---|
| 돌려 말한 조건 0~1개 | 215개 | 51.8% | 59.1% |
| 돌려 말한 조건 2개 | 335개 | 36.1% | 44.5% |
| 돌려 말한 조건 3개 이상 | 112개 | 27.2% | 31.2% |
| 전체 조건 8~9개 | 288개 | 34.8% | 43.1% |
| 전체 조건 11개 이상 | 200개 | 43.4% | 50.5% |
이 결과에서 상품 페이지에 중요한 기준을 하나 찾을 수 있다. 상품의 공식적인 규격명만 적는 것보다 고객이 실제로 어떤 식으로 말하는지도 함께 적어 두는 편이 AI가 조건을 연결하는 데 도움이 될 것으로 예상할 수 있다.
후기에만 있는 정보는 더 어려울까
후기로 확인해야 하는 조건은 여섯 가지 조건 유형 가운데 충족률이 33.7~67.4%로 가장 낮았다. 실패한 조건 1만 2,467개 가운데 81.5%가 속성 일치 유형이었지만, 이는 그 유형이 가장 흔해서다. 비율로 보면 후기 조건이 가장 어려웠다.
후기 조건에서 실패한 602건을 살펴보면 226건은 추천 자체를 끝내지 못했다. 나머지 376건 가운데 164건은 후기를 검색했지만 맞는 글을 찾지 못했고, 26건은 후기를 아예 찾지 않았으며, 186건은 후기 일부를 가져왔다.
가져온 후기로 실패한 104건을 연구진이 다시 확인했더니 근거가 담긴 경우는 28건뿐이었다. 후기 내용을 읽고 잘못 판단한 경우보다, 필요한 문장을 찾아내지 못한 경우가 많았다는 뜻이다.
| 과제 종류(과제 수) | 클로드 오퍼스 4.6 | GPT-5 |
|---|---|---|
| 별점 조건(80개) | 67.5% | 56.2% |
| 상품 검색(83개) | 65.1% | 43.4% |
| 쿠폰 예산(33개) | 63.6% | 42.4% |
| 기능 조합(104개) | 60.6% | 33.7% |
| 후기 확인(95개) | 55.8% | 34.7% |
| 쓰임새(104개) | 54.8% | 40.4% |
| 제외 조건(57개) | 47.4% | 35.1% |
| 지식 추론(106개) | 46.2% | 34.9% |
그래서 고객이 상품을 실제로 어떻게 쓰는지가 중요하다면, 그 사실을 후기에서만 찾게 두지 않는 편이 낫다. 후기에서 반복해서 확인되는 쓰임새를 상품 상세 설명에 사실로 적어 두면 AI가 별도로 후기를 뒤져야 하는 부담을 줄일 수 있을 것으로 예상된다.
그럼 상품 페이지에는 무엇을 적어야 하나
첫째는 고객이 말하는 표현이다. 상품의 규격이나 기능 이름만 적지 말고, 고객이 그 기능을 어떤 말로 찾는지도 함께 적는 방식이다. 「책상에 세워 두는」, 「5핀 충전선」처럼 고객이 사용하는 표현을 규격 이름과 함께 보여 주는 방법이다.
둘째는 쓰임새다. 후기에만 있는 사실 가운데 상품 선택에 중요한 내용이 있다면, 확인된 사실을 상세 설명에 적어 두는 것이 좋다. 예를 들어 실제로 세워도 되고 눕혀도 충전되는 상품이라면 그런 사용 방법을 상품 정보에서 바로 확인할 수 있게 하는 방식이다.
셋째는 아닌 것도 적는 것이다. AI는 고객의 제외 조건도 챙겨야 한다. 「방수 아님」이나 「USB-C 아님」처럼 해당하지 않는 조건을 분명하게 적으면 제외 조건을 확인하는 데 필요한 정보가 상품 페이지에 남는다.
넷째는 색상과 호환 기기다. 이런 조건이 고객 프로필에만 남으면 AI가 따로 찾아야 한다. 옵션 이름과 본문 양쪽에 색상과 호환 기기를 적어 두는 방식이 가능하다.
다섯째는 숫자로 확인할 수 있는 정보다. 별점, 후기 수, 쿠폰 적용 후 가격처럼 비교할 수 있는 값은 숫자로 적는 것이 좋다. 이번 시험에서는 별점 조건과 쿠폰 예산 조건이 다른 유형보다 상대적으로 높은 충족률을 보였다.
| AI가 놓친 곳 | 실험 숫자 | 상품 페이지에 적을 것(예상) |
|---|---|---|
| 돌려 말한 조건 | 3개 이상이면 정답률 27.2% | 규격 이름 옆에 고객이 쓰는 말(「책상에 세워 두는」 「5핀 충전선」) |
| 후기에만 있는 사실 | 충족률 33.7~67.4% | 후기에 자주 나오는 쓰임새(「세워도 눕혀도 충전」 「각도 조절」)를 상세 설명에 사실로 |
| 제외 조건 | 오퍼스도 47.4% | 「방수 아님」 「USB-C 아님」처럼 아닌 것도 적기 |
| 프로필 조건(색· | 43.1~72.8% | 색상· |
| 별점· | 오퍼스 67.5%· | 별점· |
국내에서도 AI를 이용해 상품을 비교하는 고객이 이미 있다. 오픈서베이 조사에서는 전국 15~69세 2,100명 가운데 온라인 쇼핑 때 AI를 써 본 사람이 10명 중 6명이었고, 가장 쓸모 있는 일로 제품별 장단점 비교가 54.4%로 꼽혔다.
네이버 쇼핑 AI 에이전트도 2026년 9월 대화 세션이 6월보다 60%, 거래액이 82% 늘었다. 이번 쇼피 시험은 영어와 아마존 상품, 전자제품 주변 분류를 대상으로 했다는 한계가 있지만, AI가 상품을 비교할 때 어디에서 정보를 놓치는지 살펴보는 자료로는 참고할 만하다.
결국 상품 페이지에서 해야 할 일은 복잡하지 않다. 고객이 쓰는 표현을 적고, 상품의 쓰임새를 사실대로 설명하고, 아닌 조건도 분명히 쓰고, 색상·호환 기기·가격처럼 비교할 정보를 숫자와 함께 보여 주는 것이다.
① 과제 662개에서 가장 나은 AI의 정답률은 57.1%, 가장 낮은 AI는 19.5%였다 ② 질문 조건의 충족률은 68.8~88.1%였지만 프로필 조건은 43.1~72.8%였다 ③ 돌려 말한 조건이 3개 이상이면 7종 평균 정답률이 27.2%로, 0~1개일 때 51.8%보다 낮았다 ④ 후기로 확인하는 조건의 충족률은 33.7~67.4%로 가장 낮았다 — 쓰임새는 상세 설명에 사실로 적어 두는 편이 낫다(예상)
같이 읽을 글
- AI가 우리 쇼핑몰 상품을 잘 고르게 하려면 어떻게 써야 할까?
- 플레이스 후기 200개가 왜 챗GPT에는 안 나올까?
- 네이버 쇼핑 AI가 우리 상품을 고르는 기준은 뭘까?
- 한국 고객은 온라인 쇼핑 때 AI에게 무엇을 물어볼까?
자료 출처
- EComAgentBench: Benchmarking Shopping Agents on Long-Horizon Tasks with Distributed Hidden Intent(Du·Li·Zhang·쇼피·2026년 6월 arXiv 제출·9월 v3·과제 662개·AI 7종)
- 같은 연구 전체 본문(HTML v3, 부록 표 6~9 수록)
- 공개 과제·평가 코드 저장소(깃허브)
- Bridging Language and Items for Retrieval and Recommendation(Hou 외·2024, 실험에 쓴 아마존 리뷰 2023 데이터 공개)
- WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents(Yao 외·2022, 쇼핑 에이전트 시험의 앞선 연구)
- 오픈서베이 「온라인 쇼핑 트렌드 리포트 2026」(전국 15~69세 2,100명, AI 쇼핑 이용 10명 중 6명·장단점 비교 54.4%)
- 머니투데이 「내년 설 쇼핑은 AI대전…네이버·다음 'AI 쇼핑결제' 시간표 나왔다」(2026년 9월 21일, 대화 세션 60%·거래액 82% 증가)
작성일
← 칼럼 목록