고객이 사진으로 「이거랑 비슷한 거」를 찾으면 우리 상품은 어떻게 보여야 할까?
실제 쇼핑 AI 대화 289건으로 본, AI가 사진에서 알아내는 것과 놓치는 것
고객이 사진을 보여 주며 「이거랑 비슷한 거」라고 하면 AI는 상품의 종류나 모양은 어느 정도 찾아낸다. 하지만 크기·재질·색처럼 구매에 꼭 필요한 조건이 사진과 말에 나뉘어 있으면 자주 놓친다. 알리바바 연구진이 실제 쇼핑 AI 대화 289건을 시험했을 때 가장 나은 AI도 첫 추천이 조건을 모두 채운 경우가 64.7%였다.
고객 사진에만 담긴 조건이 AI 쇼핑 비서가 가장 흔들리는 곳이다.
실제 고객 대화로 시험했나
이번 시험은 단순히 AI에게 상품 사진을 보여 주고 정답을 맞히게 한 시험이 아니다. 연구진은 실제로 운영 중인 AI 쇼핑 비서의 2026년 6~7월 대화 가운데 사진과 글이 함께 있는 1만 건을 무작위로 뽑았다.
그중 물건을 사려는 뜻이 분명한 400건을 전자상거래 전문가가 읽었다. 구매 의도와 절대 양보할 수 없는 조건, 정답 상품을 정리하고 개인정보가 담긴 대화와 조건에 맞는 상품이 없는 대화를 빼니 289건이 남았다. 대화 원문은 중국어다.
고객의 요청은 「똑같은 상품 찾기」가 35.8%로 가장 많았다. 「이 문제를 풀어 줄 물건 추천」이 26.0%로 뒤를 이었다. 조건이 다 모이는 시점은 평균 4.38번째 말이었다. 사진은 대화마다 평균 1.38장이 들어갔다.
고객이 먼저 사진을 올리고 「이런 거」라고 한 뒤 크기나 재질, 예산을 나중에 말하는 식이다. AI는 상품 10만 개가 있는 가상 매장에서 글 검색과 사진 검색을 최대 8단계까지 사용할 수 있었다.
| 항목 | 내용 |
|---|---|
| 원자료 | 실제 AI 쇼핑 비서 대화(2026년 6~7월), 사진+글 대화 1만 건 무작위 |
| 전문가 주석 | 400건 → 최종 289건(중국어) |
| 가장 많은 요청 | 똑같은 상품 찾기 35.8% · |
| 조건이 다 모이는 시점 | 평균 4.38번째 말(2~12번째) |
| 대화당 사진 | 평균 1.38장 |
| 가상 매장 | 상품 10만 개(제목· |
| 검색 | 글 검색 10개· |
AI가 처음부터 상품을 잘 찾는 건 아닌가
결과를 보면 그렇지 않다. 가장 나은 두 AI도 첫 추천에서 고객의 필수 조건을 모두 충족한 비율이 64%대였다.
제미나이 3.1 프로는 첫 추천 조건 충족이 64.7%, 클로드 오퍼스 4.8은 64.4%였다. 세 개 안에 조건을 충족하는 상품이 하나라도 들어간 비율은 각각 73.4%와 72.0%였다.
정답으로 적어 둔 바로 그 상품을 첫 자리에 올린 비율은 제미나이 3.1 프로가 61.4%, 클로드 오퍼스 4.8이 55.0%였다. 즉 AI가 비슷한 상품을 찾는 것과 고객이 원하는 상품을 정확하게 골라내는 것은 다른 문제다.
| AI | 첫 추천이 조건 충족 | 세 개 안에 하나라도 충족 | 첫 추천이 정답 상품 |
|---|---|---|---|
| 제미나이 3.1 프로 | 64.7% | 73.4% | 61.4% |
| 클로드 오퍼스 4.8 | 64.4% | 72.0% | 55.0% |
| 미니맥스 M2.7 | 20.1% | 26.0% | 20.4% |
| 큐웬3.5 9B | 15.9% | 20.4% | 11.4% |
| 큐웬3.5 122B | 5.5% | 5.9% | 4.8% |
| 큐웬3.5 122B + 쇼핑 대화 900건 학습 | 52.9% | 67.5% | 49.8% |
처음에는 성능 차이가 더 컸던 오픈 모델도 쇼핑 대화로 학습시키자 달라졌다. 큐웬3.5 122B는 첫 추천 조건 충족이 5.5%였지만, 같은 방식으로 추린 쇼핑 대화 900건으로 학습한 뒤에는 52.9%가 됐다.
사진을 빼면 얼마나 달라지나
연구진은 사진의 역할을 따로 확인했다. 300건을 글만으로 풀리는 요청, 사진이 꼭 필요한 요청, 사진과 글을 함께 따져야 하는 요청으로 각각 100건씩 나눠 사진을 넣었을 때와 뺐을 때를 비교했다.
사진이 꼭 필요한 요청에서는 사진을 빼자 세 개 안에 하나라도 맞힌 비율이 49.0%에서 11.2%로 떨어졌다. 반면 글만으로 풀리는 요청은 47.8%에서 43.1%로 줄어드는 데 그쳤다.
문제는 사진과 대화에 조건이 나뉘어 있는 경우다. 사진을 넣었는데도 세 개 안에 하나라도 맞힌 비율이 32.7%였다. 고객이 사진으로 모양을 보여 주고 말로 크기나 색을 덧붙이는 흔한 상황이 AI에게는 가장 까다로운 요청이었다.
| 요청 종류(각 100건) | 사진과 글 모두 | 글만 |
|---|---|---|
| 글만으로 풀리는 요청 | 47.8% | 43.1% |
| 사진이 꼭 필요한 요청 | 49.0% | 11.2% |
| 사진과 글을 함께 따져야 하는 요청 | 32.7% | 13.3% |
그렇다면 상품 사진은 어떻게 찍어야 하나
이번 시험에서 사진은 분명 중요한 정보였다. 특히 사진이 꼭 필요한 요청에서는 사진을 빼자 결과가 크게 떨어졌다. 따라서 대표 사진에는 고객이 찾는 상품이 잘 보이게 해야 한다.
연구진의 시험에서는 사진 전체를 그대로 검색하는 것뿐 아니라 AI가 고른 부분만 잘라 검색하는 방법도 사용했다. 사진 전체를 검색하면 배경이나 함께 찍힌 다른 물건에 끌릴 수 있기 때문이다.
실제 상품 사진에서도 다른 상품이나 배경 물건이 함께 보이면 AI가 무엇을 찾아야 하는지 헷갈릴 수 있다. 대표 사진에서 상품을 분명하게 보여 주는 것이 필요한 이유다.
사진에 보이는 정보만 믿어도 될까
그렇지는 않다. 이번 시험에서 특히 중요한 부분은 사진과 글에 조건이 나뉜 요청이었다. 사진에서 모양을 확인할 수 있어도 크기나 재질 같은 조건까지 사진만으로 정확하게 확인하기는 어렵다.
연구진은 치수가 상품 정보에서 글자 그대로 확인될 때만 맞는 것으로 판단했다. 필수 조건인데 확인할 수 없으면 「모름」으로 두고 첫 자리에 올리지 않도록 했다.
이 기준을 가게 상품에 적용해 보면 준비할 일이 분명해진다. 치수·용량·재질·색·호환 모델처럼 구매 조건이 되는 정보는 사진 안에만 넣어 두지 말고 상품 설명에도 글자로 적어 두는 것이 필요하다.
사진 속 글자를 AI가 항상 읽어 준다고 생각해서도 안 된다. 이번 실험의 가상 매장은 상세 이미지 속 글자까지 미리 뽑아 AI에게 제공했지만, 실제 AI 검색이 모든 가게의 상세 이미지 글자를 같은 방식으로 읽어 준다는 보장은 없다.
AI가 맞는 상품을 찾고도 왜 빼버릴까
AI가 검색 결과 안에서 맞는 상품을 찾아 놓고도 마지막 추천에서 빼는 경우가 있었다. 연구진은 이 문제를 확인하기 위해 검색이 끝난 뒤 모든 후보를 상품 사진·속성·상세 글자와 다시 대조하는 단계를 붙였다.
그러자 세 개 안에 하나라도 맞힌 비율이 올랐다. 제미나이 3.1 프로는 69.2%에서 73.4%로, 클로드 오퍼스 4.8은 65.4%에서 72.0%로 높아졌다.
한 사례에서는 고객이 주전자가 크게 찍힌 사진을 올렸지만 실제로 찾던 것은 뒤쪽의 나무 쟁반이었다. 검색 결과에는 맞는 쟁반이 있었지만 처음 최종 선택에서 빠졌고, 다시 대조하는 과정에서 살아났다.
| AI(세 개 안에 하나라도 충족) | 다시 대조하기 전 | 다시 대조한 뒤 | 후보 안에 맞는 상품이 있던 비율 |
|---|---|---|---|
| 제미나이 3.1 프로 | 69.2% | 73.4% | 75.8% |
| 클로드 오퍼스 4.8 | 65.4% | 72.0% | 76.5% |
| 키미 K2.6 | 43.6% | 47.8% | 49.1% |
| 큐웬3.5 9B + 학습 | 49.5% | 65.4% | 73.4% |
이 사례가 가게에 주는 의미는 단순하다. AI가 상품을 검색할 때 확인할 수 있는 정보가 많을수록 마지막에 다시 비교할 재료도 많아진다. 특히 치수와 재질처럼 사진만으로 확실히 알기 어려운 정보는 글자로 남겨 두는 것이 중요하다.
지금 상품 페이지에서 무엇부터 손볼까
첫째는 대표 사진이다. 고객이 찾으려는 상품이 크게 보이고, 다른 상품이나 배경 물건 때문에 대상이 흐려지지 않게 준비할 필요가 있다.
둘째는 사진 밖의 상품 설명이다. 색·재질·모양처럼 사진에서 보이는 특징도 글자로 적고, 치수·용량·호환 모델처럼 사진으로 확실히 확인하기 어려운 조건도 본문에 적어야 한다.
셋째는 상품 정보를 빠뜨리지 않는 것이다. AI는 검색 결과에서 상품을 찾은 뒤에도 고객의 조건과 다시 비교할 수 있다. 이때 비교할 정보가 상품 페이지에 없으면 조건을 확인하기 어렵다.
사진으로 상품을 찾는 검색 자체도 이미 큰 규모다. 구글은 2024년 10월 렌즈 검색이 월 약 200억 건이라고 밝혔고, 2026년 9월 24일부터 서치콘솔에서 사진 검색으로 들어온 노출과 클릭을 따로 볼 수 있게 했다.
| 실험에서 본 것 | 숫자 | 가게가 준비할 것(예상) |
|---|---|---|
| 사진이 꼭 필요한 요청, 사진을 빼면 | 49.0% → 11.2% | 대표 사진은 상품이 크게 보이게, 여러 각도로 |
| 사진과 말에 조건이 나뉜 요청 | 32.7%로 가장 낮음 | 색· |
| 치수가 글자로 없으면 「모름」 처리 | 첫 자리 추천에서 제외 | 치수· |
| 배경 물건에 끌려가는 검색 | 쟁반 사례, 부분 잘라 검색 | 대표 사진에 다른 상품을 섞지 않기 |
| 사진 검색 규모 | 렌즈 월 약 200억 건 | 서치콘솔 사진 검색 보고서 확인(2026년 9월 24일부터) |
결국 상품 사진을 예쁘게 찍는 것만으로는 부족하다. 고객이 사진에서 보여 주는 특징과 말로 설명하는 조건을 상품 페이지 안에서 함께 확인할 수 있게 만들어야 한다. AI가 상품을 찾는 과정에서 무엇을 볼지 생각하면서 사진과 설명을 준비하는 것이 핵심이다.
① 실제 대화 289건에서 가장 나은 AI의 첫 추천도 조건을 모두 채운 것은 64.7%였다 ② 사진이 꼭 필요한 요청에서 사진을 빼자 정답률이 49.0%에서 11.2%로 떨어졌다 ③ 사진과 대화에 조건이 나뉜 요청은 사진을 넣어도 32.7%로 가장 낮았다 ④ 후보를 상품 정보와 다시 대조하자 오퍼스 4.8은 65.4%에서 72.0%로 올랐다 — 대조할 치수·재질이 글자로 있어야 한다(예상)
같이 읽을 글
자료 출처
- MMShopBench: A Real-Log Benchmark for Multimodal, Multi-Turn Shopping Agents(Hao·Guo 외·알리바바·2026년 7월 arXiv 제출·실제 대화 289건·상품 10만 개)
- 같은 연구 전체 본문(HTML, 표 1~4·그림 3 수록)
- 공개 코드·데이터 저장소(깃허브)
- Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking(Zhu·Jung·Clark·2024, 실험에 쓴 상품 사진 검색 모델)
- Shopping Reasoning Bench: An Expert-Authored Benchmark for Multi-Turn Conversational Shopping Assistants(2026년 6월, 여러 번 주고받는 쇼핑 대화 시험)
- 구글 서치 센트럴 블로그 「Announcing web multimodal Search performance reporting in Search Console」(2026년 9월 24일)
- 구글 블로그 「Ask questions in new ways with AI in Search」(2024년 10월 3일, 렌즈 월 약 200억 건)
작성일
← 칼럼 목록