# AI에 넘기는 후보 순서만 바꿔도 추천 상위 5개가 달라질까?

_후보를 어떤 순서로 넣느냐가 상품 설명보다 더 큰 영향을 줄 수 있다_

> 스탠퍼드대 연구진이 공개 AI 모델 8종으로 실험한 결과, 아마존 책 추천에서는 후보 순서만 바꿔도 평소 상위 5위 밖 상품의 42.7~57.0%가 상위권에 새로 들어왔다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/candidate-order-alone-lifts-57-percent-into-ai-top5
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-27

AI 추천에서는 상품 내용이 그대로여도 후보를 어떤 순서로 넣느냐에 따라 상위권이 달라질 수 있다. 스탠퍼드대 연구진의 실험에서는 후보 25개의 순서를 최대 50번 바꾸자, 평소 상위 5위 밖이던 상품이 아마존 책 추천에서 42.7~57.0%의 비율로 상위 5위에 새로 들어왔다. 상품 설명에 고객 취향 장르를 넣는 것보다 유리한 자리로 옮기는 효과가 더 컸고, 평균 순위 상승도 1.86계단 대 0.33계단이었다.

AI가 후보를 읽는 순서가 상품 내용과 무관한데도 추천 상위 5개를 바꿀 수 있었다.

## AI는 상품을 어떻게 골라서 보여줄까?

AI 추천은 보통 두 단계로 움직인다. 먼저 검색 장치가 많은 상품 가운데 후보를 골라 오고, 그다음 언어 모델이 이 후보들을 한꺼번에 읽고 순위를 매긴다.

문제는 후보가 아무 순서 없이 놓여 있는 것처럼 보여도 AI는 실제로 글을 앞에서부터 읽는다는 점이다. 연구진은 상품 설명, 고객 이력, 모델을 그대로 둔 채 후보의 위치만 바꿔 이 영향을 확인했다.

| 항목 | 실험 조건 |
|---|---|
| 한 번에 읽는 후보 수 | 25개 |
| 순서 바꾸기 시도 | 목표 상품마다 최대 50번, 가장 좋은 순위를 고름 |
| 추천 분야 | 3개(무비렌즈 영화, 아마존 책, 아마존 패션) |
| 원자료 규모 | 영화 3,200만 건·작품 8만 7,600개 / 책 2,950만 건·상품 445만 개 / 패션 250만 건·상품 82만 6,000개 |
| AI 모델 | 공개 모델 8종(큐웬3 0.6B~14B 5종, 라마 3.1 8B, 미스트랄 7B, 라마 3.2 3B), 추천용으로 추가 학습 |
| 공격 평가 표본 | 분야·모델마다 후보 묶음 300개 |

실험에서는 후보 25개를 놓고 목표 상품의 위치를 바꿨다. 영화, 아마존 책, 아마존 패션 세 분야에서 공개 모델 8종을 사용했고, 분야와 모델마다 후보 묶음 300개를 평가했다.

## 상품이 몇 번째에 있느냐도 중요할까?

그렇다. 목표 상품을 1번부터 25번까지 옮겨 가며 비교했더니 맨 앞이나 맨 뒤보다 앞쪽 가운데 자리에서 평균 순위가 가장 좋았다.

가장 좋은 자리와 가장 나쁜 자리의 평균 순위 차이는 3.09계단이었다. 반대로 후보의 순서를 읽지 못하게 구조를 바꾼 비교용 모델에서는 그 차이가 0.06계단에 그쳤다.

이 결과는 단순히 어떤 상품이 좋은지의 문제가 아니라, 후보가 어떤 순서로 AI에 들어가는지도 추천 결과에 영향을 줄 수 있다는 뜻이다.

## 실제로 상위 5위까지 올라왔나?

실제로 올라왔다. 순서를 바꾸는 시도를 최대 50번 했을 때, 평소 상위 5위 밖이던 목표 상품이 상위 5위 안으로 새로 들어온 비율은 영화 9.7~14.7%, 아마존 패션 22.7~38.7%, 아마존 책 42.7~57.0%였다.

기준 모델인 라마 3.2 3B에서는 영화 12.0%, 아마존 패션 29.7%, 아마존 책 48.0%였다. 분야에 따라 차이가 컸고, 연구진은 모델 크기보다 분야의 차이가 더 크게 나타났다고 봤다.

| 분야 | 8개 모델 범위 | 기준 모델(라마 3.2 3B) |
|---|---|---|
| 영화(무비렌즈) | 9.7~14.7% | 12.0% |
| 아마존 패션 | 22.7~38.7% | 29.7% |
| 아마존 책 | 42.7~57.0% | 48.0% |

특히 아마존 책에서는 큰 모델이라고 순서의 영향을 덜 받는 것도 아니었다. 가장 높은 비율은 큐웬3 8B의 57.0%였고, 14B는 47.7%, 0.6B는 49.7%였다.

연구진이 주목한 부분은 내용 신호가 약한 분야에서 순서의 영향이 더 커졌다는 점이다. 아마존 두 분야에서는 첫 단계 검색이 정답을 상위 100개 안에 넣는 비율이 약 1.3%에 그쳤다.

## 여러 번 돌리면 더 많이 올라갈까?

그렇다. 영화 추천에서 순서를 한 번만 바꿨을 때 평소 상위 5위 밖이던 상품이 새로 들어온 비율은 2.3%였다.

5번 시도하면 6.7%, 10번이면 9.0%, 20번이면 10.3%, 50번이면 12.0%까지 올라갔다. 순서만 여러 번 바꿔도 원하는 상품이 상위권에 들어갈 기회를 높일 수 있다는 결과다.

| 조건(영화, 기준 모델) | 상위 5위로 새로 들어온 비율 |
|---|---|
| 순서 1번 시도 | 2.3% |
| 5번 시도 | 6.7% |
| 10번 시도 | 9.0% |
| 20번 시도 | 10.3% |
| 50번 시도 | 12.0% |
| 50번 시도 + 「순서 무시」 지시 5종 | 12.0~13.0% |

연구진은 AI에게 「후보 순서는 의미가 없으니 무시하라」고 지시하는 방법도 시험했다. 다섯 가지 방식으로 지시했지만 50번 시도했을 때 새로 상위 5위에 들어온 비율은 12.0~13.0%로 크게 달라지지 않았다.

즉, 단순한 지시만으로 순서에 따른 흔들림을 없애기는 어려웠다.

## 상품 설명을 잘 쓰는 것보다 자리가 더 중요했나?

이번 실험에서는 그랬다. 목표 상품을 유리한 자리로 옮기기만 했을 때 평균 순위가 1.86계단 올라갔다.

반면 자리는 그대로 두고 상품 설명에 고객 이력에서 가장 많이 나온 장르를 넣었을 때는 0.33계단 상승했다. 자리 효과가 5배 넘게 크게 나타난 셈이다.

| 방법(영화, 기준 모델) | 평균 순위 상승 |
|---|---|
| 유리한 자리로 옮기기만 | 1.86계단 |
| 상품 설명에 고객 취향 장르 넣기만 | 0.33계단 |
| 두 방법의 겹침 효과 | 거의 없음 |

다만 이 결과를 상품 설명이 중요하지 않다는 뜻으로 받아들이면 안 된다. 비교한 것은 상품 설명 전체를 개선한 경우가 아니라 특정 취향 장르를 넣은 간단한 내용 수정이었다.

## 그럼 순서 문제는 막을 수 있을까?

방법은 있었다. 같은 후보를 두 가지 순서로 넣었을 때 점수가 같아지도록 벌점을 주며 학습하자 영화에서 새로 상위 5위에 들어오는 비율이 12.0%에서 0.7%로 줄었다.

순서를 아예 읽지 못하게 구조를 바꾸면 영화와 아마존 책에서는 0%가 됐고, 아마존 패션에서는 0.3%였다. 다만 구조를 바꾸면 추천 품질도 떨어졌다. 아마존 책에서는 추천 품질 점수가 0.618에서 0.510으로 낮아졌다.

| 방어·점검 | 영화 | 아마존 책 | 아마존 패션 |
|---|---|---|---|
| 방어 없음(새로 들어온 비율) | 12.0% | 48.0% | 29.7% |
| 두 순서 점수 맞추기 학습 | 0.7% | 6.7% | 4.7% |
| 순서를 못 읽게 구조 변경 | 0% | 0% | 0.3% |
| 섞어도 순위가 유지되는 정도(방어 없음) | 0.845 | 0.563 | 0.661 |

따라서 순서의 영향을 줄이는 것만으로 끝나는 문제가 아니다. 순서에 따른 흔들림과 추천 품질 사이의 관계도 함께 봐야 한다.

## 동네 사장님은 상품 정보를 어떻게 준비해야 할까?

이 실험은 가게가 직접 후보 순서를 정하는 상황을 다룬 것은 아니다. 후보 목록을 만들어 AI에 넘기는 플랫폼이나 앱, 중개 서비스가 순서를 조정할 수 있는 상황을 전제로 했다.

그래도 사장님이 볼 부분은 있다. AI가 상품을 판단할 때 사용할 수 있는 정보가 충분하고 정리돼 있는지 확인하는 것이다. 상품명, 용도, 규격, 가격처럼 상품을 설명하는 정보가 빠지지 않았는지가 중요하게 볼 지점이다(예상).

연구진의 결과에서도 정보가 비교적 정리된 영화 분야는 아마존 책이나 패션보다 순서에 덜 흔들렸다. 다만 상품 정보를 많이 적으면 순서의 영향을 줄일 수 있다는 것은 이번 실험에서 직접 확인한 인과관계가 아니다.

## 왜 상위 몇 개가 사장님에게 중요할까?

AI가 추천한 상품이 수십 개라면 순서의 작은 변화가 덜 중요할 수 있다. 하지만 실제 답변에서 고객에게 보이는 상품 수가 적다면 상위권에 들어가느냐가 곧 노출 여부가 될 수 있다.

2026년 8월 함샤우트 글로벌이 고정 질문 1,616개로 모은 답변 4,848개에서는 답변 한 건당 평균 인용 수가 챗GPT 4.0개, 제미나이 7.8개, 퍼플렉시티 19.8개였다.

| 서비스(2026년 8월, 정보 탐색형 질문) | 답변 한 건당 평균 인용 수 |
|---|---|
| 챗GPT | 4.0개 |
| 제미나이 | 7.8개 |
| 퍼플렉시티 | 19.8개 |

그래서 사장님 입장에서는 특정 순위를 억지로 만들려고 하기보다, AI가 상품을 이해할 수 있는 기본 정보를 빠짐없이 갖추는 쪽을 먼저 살펴볼 필요가 있다. 이번 연구가 보여준 핵심은 좋은 상품 하나만으로 추천 결과가 결정되는 것이 아니라, AI가 그 상품을 어떤 후보들과 어떤 순서로 읽느냐도 결과에 영향을 줄 수 있다는 점이다.

① 후보 25개의 순서를 최대 50번 바꾸자 아마존 책에서 평소 상위 5위 밖 상품의 42.7~57.0%가 상위 5위에 새로 들어왔다 ② 유리한 자리로 옮기면 평균 1.86계단, 고객 취향 장르를 설명에 넣으면 0.33계단 올라갔다 ③ 「순서 무시」 지시 5종 뒤에도 새 진입 비율은 12.0~13.0%였지만, 점수를 맞추도록 학습하자 0.7%로 줄었다 ④ 2026년 8월 조사에서 답변 한 건당 평균 인용은 챗GPT 4.0개, 제미나이 7.8개, 퍼플렉시티 19.8개였다

## 같이 읽을 글

 

- 비슷한 가게 페이지라면 AI는 무엇을 먼저 고를까?

- AI는 물건을 고를 때 무엇을 볼까?

- 홈페이지 글은 날짜가 오래되면 AI가 뒤로 미룰까?

- AI가 우리 가게 순위도 마음대로 바꿀 수 있나?
 

## 자료 출처

 

- Ranked by Position: Order Sensitivity as an Exploitable Attack Surface in LLM Listwise Recommenders(Zhang·Cheng(스탠퍼드대)·Chen·arXiv 2026년 7월 제출·후보 25개·모델 8종·분야 3개)

- 같은 연구의 코드·데이터(깃허브 geoz-lab)

- Evaluating Position Bias in Large Language Model Recommendations(Bito·Ren·He·arXiv 2025년 8월·LLM 추천 위치 편향 선행 연구)

- Lost in the Middle: How Language Models Use Long Contexts(Liu 외·스탠퍼드대·arXiv 2023년 7월·긴 입력의 가운데 정보를 덜 쓰는 현상)

- 테크42 「같은 질문에도 AI 출처는 달라졌다…SNS 34.6%」(함샤우트 글로벌 AIBA AI 인용 지수 리포트 8월호·고정 질문 1,616개·답변 4,848개·인용 3만 7,923건)