AI에 넘기는 후보 순서만 바꿔도 추천 상위 5개가 달라질까?

AI 추천에서는 상품 내용이 그대로여도 후보를 어떤 순서로 넣느냐에 따라 상위권이 달라질 수 있다. 스탠퍼드대 연구진의 실험에서는 후보 25개의 순서를 최대 50번 바꾸자, 평소 상위 5위 밖이던 상품이 아마존 책 추천에서 42.7~57.0%의 비율로 상위 5위에 새로 들어왔다. 상품 설명에 고객 취향 장르를 넣는 것보다 유리한 자리로 옮기는 효과가 더 컸고, 평균 순위 상승도 1.86계단 대 0.33계단이었다.

AI는 상품을 어떻게 골라서 보여줄까?

AI 추천은 보통 두 단계로 움직인다. 먼저 검색 장치가 많은 상품 가운데 후보를 골라 오고, 그다음 언어 모델이 이 후보들을 한꺼번에 읽고 순위를 매긴다.

문제는 후보가 아무 순서 없이 놓여 있는 것처럼 보여도 AI는 실제로 글을 앞에서부터 읽는다는 점이다. 연구진은 상품 설명, 고객 이력, 모델을 그대로 둔 채 후보의 위치만 바꿔 이 영향을 확인했다.

실험에서는 후보 25개를 놓고 목표 상품의 위치를 바꿨다. 영화, 아마존 책, 아마존 패션 세 분야에서 공개 모델 8종을 사용했고, 분야와 모델마다 후보 묶음 300개를 평가했다.

상품이 몇 번째에 있느냐도 중요할까?

그렇다. 목표 상품을 1번부터 25번까지 옮겨 가며 비교했더니 맨 앞이나 맨 뒤보다 앞쪽 가운데 자리에서 평균 순위가 가장 좋았다.

가장 좋은 자리와 가장 나쁜 자리의 평균 순위 차이는 3.09계단이었다. 반대로 후보의 순서를 읽지 못하게 구조를 바꾼 비교용 모델에서는 그 차이가 0.06계단에 그쳤다.

이 결과는 단순히 어떤 상품이 좋은지의 문제가 아니라, 후보가 어떤 순서로 AI에 들어가는지도 추천 결과에 영향을 줄 수 있다는 뜻이다.

실제로 상위 5위까지 올라왔나?

실제로 올라왔다. 순서를 바꾸는 시도를 최대 50번 했을 때, 평소 상위 5위 밖이던 목표 상품이 상위 5위 안으로 새로 들어온 비율은 영화 9.7~14.7%, 아마존 패션 22.7~38.7%, 아마존 책 42.7~57.0%였다.

기준 모델인 라마 3.2 3B에서는 영화 12.0%, 아마존 패션 29.7%, 아마존 책 48.0%였다. 분야에 따라 차이가 컸고, 연구진은 모델 크기보다 분야의 차이가 더 크게 나타났다고 봤다.

특히 아마존 책에서는 큰 모델이라고 순서의 영향을 덜 받는 것도 아니었다. 가장 높은 비율은 큐웬3 8B의 57.0%였고, 14B는 47.7%, 0.6B는 49.7%였다.

연구진이 주목한 부분은 내용 신호가 약한 분야에서 순서의 영향이 더 커졌다는 점이다. 아마존 두 분야에서는 첫 단계 검색이 정답을 상위 100개 안에 넣는 비율이 약 1.3%에 그쳤다.

여러 번 돌리면 더 많이 올라갈까?

그렇다. 영화 추천에서 순서를 한 번만 바꿨을 때 평소 상위 5위 밖이던 상품이 새로 들어온 비율은 2.3%였다.

5번 시도하면 6.7%, 10번이면 9.0%, 20번이면 10.3%, 50번이면 12.0%까지 올라갔다. 순서만 여러 번 바꿔도 원하는 상품이 상위권에 들어갈 기회를 높일 수 있다는 결과다.

연구진은 AI에게 「후보 순서는 의미가 없으니 무시하라」고 지시하는 방법도 시험했다. 다섯 가지 방식으로 지시했지만 50번 시도했을 때 새로 상위 5위에 들어온 비율은 12.0~13.0%로 크게 달라지지 않았다.

즉, 단순한 지시만으로 순서에 따른 흔들림을 없애기는 어려웠다.

상품 설명을 잘 쓰는 것보다 자리가 더 중요했나?

이번 실험에서는 그랬다. 목표 상품을 유리한 자리로 옮기기만 했을 때 평균 순위가 1.86계단 올라갔다.

반면 자리는 그대로 두고 상품 설명에 고객 이력에서 가장 많이 나온 장르를 넣었을 때는 0.33계단 상승했다. 자리 효과가 5배 넘게 크게 나타난 셈이다.

다만 이 결과를 상품 설명이 중요하지 않다는 뜻으로 받아들이면 안 된다. 비교한 것은 상품 설명 전체를 개선한 경우가 아니라 특정 취향 장르를 넣은 간단한 내용 수정이었다.

그럼 순서 문제는 막을 수 있을까?

방법은 있었다. 같은 후보를 두 가지 순서로 넣었을 때 점수가 같아지도록 벌점을 주며 학습하자 영화에서 새로 상위 5위에 들어오는 비율이 12.0%에서 0.7%로 줄었다.

순서를 아예 읽지 못하게 구조를 바꾸면 영화와 아마존 책에서는 0%가 됐고, 아마존 패션에서는 0.3%였다. 다만 구조를 바꾸면 추천 품질도 떨어졌다. 아마존 책에서는 추천 품질 점수가 0.618에서 0.510으로 낮아졌다.

따라서 순서의 영향을 줄이는 것만으로 끝나는 문제가 아니다. 순서에 따른 흔들림과 추천 품질 사이의 관계도 함께 봐야 한다.

동네 사장님은 상품 정보를 어떻게 준비해야 할까?

이 실험은 가게가 직접 후보 순서를 정하는 상황을 다룬 것은 아니다. 후보 목록을 만들어 AI에 넘기는 플랫폼이나 앱, 중개 서비스가 순서를 조정할 수 있는 상황을 전제로 했다.

그래도 사장님이 볼 부분은 있다. AI가 상품을 판단할 때 사용할 수 있는 정보가 충분하고 정리돼 있는지 확인하는 것이다. 상품명, 용도, 규격, 가격처럼 상품을 설명하는 정보가 빠지지 않았는지가 중요하게 볼 지점이다(예상).

연구진의 결과에서도 정보가 비교적 정리된 영화 분야는 아마존 책이나 패션보다 순서에 덜 흔들렸다. 다만 상품 정보를 많이 적으면 순서의 영향을 줄일 수 있다는 것은 이번 실험에서 직접 확인한 인과관계가 아니다.

왜 상위 몇 개가 사장님에게 중요할까?

AI가 추천한 상품이 수십 개라면 순서의 작은 변화가 덜 중요할 수 있다. 하지만 실제 답변에서 고객에게 보이는 상품 수가 적다면 상위권에 들어가느냐가 곧 노출 여부가 될 수 있다.

2026년 8월 함샤우트 글로벌이 고정 질문 1,616개로 모은 답변 4,848개에서는 답변 한 건당 평균 인용 수가 챗GPT 4.0개, 제미나이 7.8개, 퍼플렉시티 19.8개였다.

그래서 사장님 입장에서는 특정 순위를 억지로 만들려고 하기보다, AI가 상품을 이해할 수 있는 기본 정보를 빠짐없이 갖추는 쪽을 먼저 살펴볼 필요가 있다. 이번 연구가 보여준 핵심은 좋은 상품 하나만으로 추천 결과가 결정되는 것이 아니라, AI가 그 상품을 어떤 후보들과 어떤 순서로 읽느냐도 결과에 영향을 줄 수 있다는 점이다.

같이 읽을 글

• 비슷한 가게 페이지라면 AI는 무엇을 먼저 고를까?
• AI는 물건을 고를 때 무엇을 볼까?
• 홈페이지 글은 날짜가 오래되면 AI가 뒤로 미룰까?
• AI가 우리 가게 순위도 마음대로 바꿀 수 있나?

자료 출처

• Ranked by Position: Order Sensitivity as an Exploitable Attack Surface in LLM Listwise Recommenders(Zhang·Cheng(스탠퍼드대)·Chen·arXiv 2026년 7월 제출·후보 25개·모델 8종·분야 3개)
• 같은 연구의 코드·데이터(깃허브 geoz-lab)
• Evaluating Position Bias in Large Language Model Recommendations(Bito·Ren·He·arXiv 2025년 8월·LLM 추천 위치 편향 선행 연구)
• Lost in the Middle: How Language Models Use Long Contexts(Liu 외·스탠퍼드대·arXiv 2023년 7월·긴 입력의 가운데 정보를 덜 쓰는 현상)
• 테크42 「같은 질문에도 AI 출처는 달라졌다…SNS 34.6%」(함샤우트 글로벌 AIBA AI 인용 지수 리포트 8월호·고정 질문 1,616개·답변 4,848개·인용 3만 7,923건)