AI 추천 후보에 못 들면 아무리 좋은 상품도 소용없을까?

좋은 상품도 후보에서 빠지면 추천받기 어렵다

AI가 상품이나 가게를 추천할 때는 먼저 후보를 찾고, 그 안에서 순위를 매기는 경우가 많다. 그런데 실제 실험에서 고객이 다음에 고른 상품이 후보 100개 안에 들어온 비율은 2~19%에 그쳤다. 아무리 순위를 잘 매겨도 후보에 없으면 추천 목록에 올라갈 수 없다.

2026년 8~9월 공개된 두 실험은 이 차이를 분명하게 보여준다. AI의 크기를 키우거나 생각하는 시간을 늘리는 것보다, 처음에 무엇을 후보로 가져오느냐가 추천 결과에 큰 영향을 줄 수 있다는 내용이다.

AI가 순위를 아무리 잘 매겨도, 후보 목록에 없는 상품은 순위에 오를 수 없다.

AI가 순위를 잘 매기면 추천이 되는 것 아닌가?

AI 추천은 보통 두 단계로 나뉜다. 먼저 전체 상품에서 후보를 골라 온 뒤, 언어 모델이 그 후보 안에서 순위를 매긴다.

남캘리포니아대 연구진은 이 두 단계를 나눠 실험했다. 정답 상품을 후보에 미리 넣어 준 시험과 실제 검색이 가져온 후보만 사용한 시험을 비교했다.

결과는 크게 달랐다. 정답을 끼워 준 시험에서는 추천 점수가 0.086~0.104였지만, 실제 검색 후보로 시험하자 0.005~0.007로 떨어졌다.

아마존 데이터	정답을 끼워 준 시험	실제 검색 후보로 시험	차이
뷰티	0.0856	0.0065	92.4% 낮음
영화	0.1039	0.0067	93.5% 낮음
전자제품	0.0971	0.0050	94.9% 낮음

이 점수는 상위 10개 추천 안에서 정답이 얼마나 앞쪽에 있는지를 0에서 1 사이로 나타낸 값이다. 연구진은 정답을 미리 넣은 시험이 검색 엔진 색인에 답을 넣어 두고 시험하는 것과 비슷하다고 설명했다.

실제로 후보 100개 안에 정답이 얼마나 들어오나?

아마존 데이터에서는 후보 100개 안에 고객이 실제로 고른 상품이 들어온 비율이 뷰티 8.23%, 영화 2.95%, 전자제품 2.24%였다. 후보에 정답이 하나도 없는 고객은 각각 91.8%, 97.1%, 97.8%였다.

검색 방법을 12가지로 바꾸고 설정을 조정해도 결과는 크게 달라지지 않았다. 주요 아마존 데이터에서 가장 높은 값도 뷰티 12.33%, 영화 4.81%, 전자제품 3.13%였다.

데이터	전체 상품 수	후보 100개 안 정답 비율	후보에 정답이 하나도 없는 고객
아마존 뷰티	1,416개	8.23%(최고 12.33%)	91.8%
아마존 영화	5만 3,709개	2.95%(최고 4.81%)	97.1%
아마존 전자제품	2만 8,981개	2.24%(최고 3.13%)	97.8%
아마존 사무·스포츠·완구	5,037~9,545개	7.0~12.8%	—
무비렌즈 영화	1만 9,886개	17.4%(다른 표본 1,000명에서 18.9%)	—
마이크로소프트 뉴스	2만 212개	12%	88%

상품이 많아질수록 후보에 들어갈 기회도 줄어든다. 상품이 1,416개인 아마존 뷰티에서는 아무렇게나 100개를 뽑아도 정답이 들어갈 확률이 7.1%지만, 상품이 5만 3,709개인 아마존 영화에서는 0.19%다.

기록이 많은 고객이라고 해서 이 문제가 사라지는 것도 아니었다. 아마존 영화에서는 이용 기록이 50건 넘는 고객도 71.6%가 후보에 정답이 없었다.

더 큰 AI나 생각하는 AI를 쓰면 달라질까?

연구진은 40억~6,710억 개 매개변수의 AI 9종을 사용해 후보 안에서 순위를 다시 매겼다. 크기는 168배까지 차이가 났다.

하지만 뷰티에서 기존 방식의 점수는 0.0051이었고, 가장 좋은 AI도 0.0051이었다. 가장 큰 딥시크 V3는 오히려 0.0016으로 낮았다.

조건(아마존 데이터·표본 500명)	결과
시험한 AI 규모	40억~6,710억 매개변수(168배 차이), 9종
뷰티: 기존 방식 / 최고 AI / 딥시크 V3	0.0051 / 0.0051 / 0.0016
각 AI가 얻을 수 있는 최고 점수 중 실제 몫	4.9~15.7%
딥시크 V4 생각 모드(아마존 영화, 기존 방식 대비)	−43~−50%
생각 모드 비용(500명당)	0.13달러 → 4.75달러(약 37배)
추가 학습한 라마 3B(아마존 영화, 기존 방식 대비)	−39.5%

AI가 후보 안에서 얻을 수 있는 최고 점수와 비교하면 실제로 얻은 몫도 4.9~15.7%에 그쳤다. 후보 자체가 충분하지 않은 상황에서는 더 큰 AI가 있어도 순위를 매길 재료가 부족했다.

생각 모드도 같은 문제를 보였다. 딥시크 V4 생각 모드는 아마존 영화에서 기존 방식보다 43~50% 낮았고, 500명 기준 비용은 0.13달러에서 4.75달러로 약 37배 늘었다.

후보를 고르는 방법을 바꾸면 결과가 달라지나?

크로아티아 인포빕 연구진은 영화 6,924편과 영화 추천 대화 1,025개로 다른 실험을 했다. 이번에는 순위를 매기는 AI를 그대로 두고 후보를 가져오는 방법만 바꿨다.

영화 설명이 비슷한 영화를 찾는 방식은 후보 250개 안에 정답의 28.8%를 담았다. 다른 이용자들이 좋아한 영화 기록으로 찾는 방식은 48.6%, 선호 순서로 찾는 방식은 50.9%를 담았다.

조건(영화 대화 1,025개)	결과
후보 250개에 정답 비율: 내용 비슷한 영화 찾기	28.8%
같은 비율: 이용자 선호 기록으로 찾기 / 선호 순서로 찾기	48.6% / 50.9%
클로드 오퍼스 4.6: 내용 기반 → 선호 기록 기반 후보	0.1497 → 0.2277(+52%)
라마 3.3 70B: 같은 교체	0.0770 → 0.1223(+59%)
후보 250개 → 영화 전체 6,924편(유료 AI)	+57~89%
같은 질문 반복 시 상위 10개 바뀐 정도(오퍼스, 온도 0→1)	0.090 → 0.124

후보를 바꾸자 같은 AI의 추천 점수도 올라갔다. 클로드 오퍼스 4.6은 내용 기반 후보에서 선호 기록 기반 후보로 바꾸자 0.1497에서 0.2277로 52% 올랐다. 라마 3.3 70B는 0.0770에서 0.1223으로 59% 올랐다.

후보 250개만 주는 대신 영화 전체 6,924편을 주자 유료 AI의 점수도 57~89% 올랐다. 순위를 매기는 AI만 바꾼 것이 아니라, 처음부터 더 많은 정답 후보를 가져오게 한 결과다.

이게 동네 가게와 무슨 관계가 있나?

이 두 실험은 상품과 영화 추천을 다뤘다. 하지만 동네 가게를 AI가 추천하는 과정에서도 먼저 가게를 찾아 후보에 넣는 단계가 중요하다는 방향을 보여준다.

다른 연구에서는 AI에게 동네 의사를 추천받았을 때 검색 없이 답하면 실제로 있는 의사가 4~11%였고, 검색을 켜자 64~71%로 올랐다. 발리의 식당·카페·바 4,776곳을 조사한 연구에서는 85.6%가 AI 추천에 한 번도 오르지 못했다.

지표	수치
AI 추천 동네 의사 중 실제 인물(검색 없음)	4~11%
같은 비율(검색 켬)	64~71%
발리 식당·카페·바 중 AI 추천에 한 번도 안 오른 곳	4,776곳 중 85.6%
네이버 블로그·스마트스토어가 막은 AI 봇(2026.9 확인)	9종 전부
쿠팡의 AI 봇 응답(2026.9 확인)	403 오류

가게 입장에서는 여기서 두 가지를 살펴볼 필요가 있다(예상). AI 검색봇이 가게 페이지를 가져갈 수 있는지, 그리고 고객이 실제로 묻는 말과 관련된 내용이 페이지에 적혀 있는지다.

2026년 9월 확인에서는 네이버 블로그와 스마트스토어가 AI 봇 9종을 모두 막고 있었고, 쿠팡은 AI 봇에 403 오류를 돌려줬다. 어떤 경로로 찾아오는지가 후보에 들어갈 기회 자체에 영향을 줄 수 있다는 뜻이다.

결국 AI 추천에서 순위는 두 번째 문제일 수 있다. 먼저 후보에 들어와야 순위를 매길 수 있기 때문이다. 좋은 상품과 좋은 가게라는 사실만으로는 충분하지 않고, AI가 처음 찾아오는 단계에서 발견될 수 있는지도 함께 살펴봐야 한다.

① 실제 후보 100개에 정답이 들어온 비율은 2~19%였다 ② 정답을 끼운 시험보다 실제 후보 시험의 점수는 92.4~94.9% 낮았다 ③ 168배 큰 AI도 기존 방식을 이기지 못했고, 생각 모드 비용은 약 37배 늘었다 ④ 후보를 고르는 방식만 바꿔도 추천 점수가 52~59% 올랐다

같이 읽을 글

자료 출처

작성일 2026년 9월 27일

#AI의 눈 #추천 후보 #검색 단계 #재순위 #리콜 #에이전틱 커머스

← 칼럼 목록