# AI는 고객에게 무엇을 물어야 추천을 잘할까?

_좋은 되묻기는 고객의 답을 듣고 추천 후보를 빠르게 줄이는 질문이다_

> 후보를 좁히는 방식으로 AI를 가르치자 영화 추천의 대화 끝 적중률이 21.54%→27.94%, 25.35%→32.83%로 올랐다. 다만 작은 AI와 AI 고객으로 시험한 결과다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-that-asks-first-recommends-better-2-datasets
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-29

고객이 AI와 여러 번 대화하며 물건을 고르는 일이 늘고 있다. 이때 AI가 무엇을 되묻느냐에 따라 추천 결과가 달라질 수 있다. 아마존 연구진이 고객의 답을 들은 뒤 추천 후보가 얼마나 줄었는지를 기준으로 AI를 가르치자 대화 끝 적중률이 21.54%에서 27.94%, 25.35%에서 32.83%로 올랐다.

좋은 되묻기는 대화가 길어지는 질문이 아니라, 고객 대답을 듣고 나면 추천 후보가 확 줄어드는 질문이다.

## AI는 고객에게 어떤 질문을 했나

연구진은 사람들이 실제로 영화 추천을 주고받은 두 모음의 대화를 사용했다. 한 모음은 훈련용 801개와 시험용 99개, 다른 모음은 훈련용 8,631개와 시험용 1,036개였다.

추천하는 AI는 라마 3.2의 10억 개 매개변수 모델이었다. 고객 역할은 클로드 소넷 4가 실제 대화를 참고해 연기했다. 대화는 원하는 영화가 나오거나 고객이 만족하거나, AI가 더는 도움이 되지 않거나, 최대 5번 주고받으면 끝냈다.

| 항목 | 내용 |
|---|---|
| 대화 모음 1 | 훈련 801개·시험 99개(시험 조각 228개) |
| 대화 모음 2 | 훈련 8,631개·시험 1,036개(시험 조각 3,552개) |
| 추천하는 AI | 라마 3.2(10억 개 매개변수) |
| 고객 역할 | 클로드 소넷 4가 실제 대화를 보고 연기 |
| 대화 최대 길이 | 5번 주고받기 |
| 반복 | 설정마다 3번 돌린 평균 |

핵심은 질문 자체의 모양이 아니었다. 연구진은 대화 중간마다 AI에게 고객에게 추천할 영화 5개를 여러 번 뽑게 했다. 같은 질문에 대한 추천 목록이 서로 다르면 AI가 아직 헷갈리는 상태이고, 목록이 비슷하면 후보가 좁혀진 상태라고 봤다.

그래서 AI의 질문과 고객의 답이 오간 뒤 추천 후보가 얼마나 덜 흩어졌는지를 질문의 점수로 삼았다. 정답 영화가 무엇인지 미리 알지 않아도 질문이 고객의 선택을 얼마나 좁혀 주는지 평가할 수 있는 방식이다.

## 대화가 이어지면 정말 후보가 줄어드나

먼저 실제 사람이 주고받은 대화 300개로 확인했다. 대화가 한 번 오갈 때마다 추천 목록의 흩어짐은 평균 0.040비트씩 줄었다.

고객이 좋아하는 것과 싫어하는 것, 최근 본 영화를 말할수록 AI가 고려해야 할 후보가 모였다는 뜻이다. 고객의 답을 잘 받는 질문은 다음 추천을 더 구체적으로 만드는 데 도움이 됐다.

그런데 사람이 보기에 괜찮은 질문이라고 해서 실제로 후보를 잘 줄이는 것은 아니었다. 같은 코미디 영화를 찾는 상황에서 AI가 만든 두 응답을 비교했을 때, 다른 AI가 매긴 「대화를 잘 이끄는가」 점수는 0.9와 0.8로 비슷했다.

하지만 실제로 추천 후보를 좁힌 정도는 1.728과 0.733으로 크게 달랐다. 대화를 부드럽게 이어 가는 것과 고객의 선택지를 실제로 줄여 주는 것은 같은 일이 아니었다.

| 비교 | 응답 A | 응답 B |
|---|---|---|
| 다른 AI가 매긴 「대화를 잘 이끄는가」 점수 | 0.9 | 0.8 |
| 대답을 들은 뒤 추천 후보가 좁혀진 정도 | 1.728 | 0.733 |

## 어떤 질문이 후보를 많이 줄였나

연구진은 「슬랩스틱이 좋은지, 재치 있는 대사가 좋은지, 따뜻한 코미디가 좋은지」처럼 취향을 넓게 묻는 질문이 늘 정답은 아니라고 적었다. 질문이 구체적으로 보인다고 해서 고객의 선택지가 반드시 크게 줄어드는 것은 아니었다.

반대로 먼저 몇 편을 추천한 뒤 고객의 반응을 묻는 방식도 후보를 좁히는 데 효과가 있었다. 어떤 질문이 좋은지 사람이 미리 정해 두기보다, 실제로 고객의 답을 받은 뒤 추천 후보가 얼마나 줄었는지를 보고 판단한 것이 이 방법의 특징이다.

## 그래서 추천 결과도 좋아졌나

연구진은 여러 방식으로 AI를 가르쳐 결과를 비교했다. 원래 대화를 그대로 사용한 경우와, 다른 AI가 「대화를 잘 이끄는가」를 평가한 경우를 비교했고, 추천 후보를 얼마나 좁혔는지를 점수로 삼은 경우도 비교했다.

후보를 좁히는 점수를 이용한 AI는 두 대화 모음 모두에서 대화 끝 적중률이 가장 높았다. 가장 좋은 설정에서 모음1의 적중률은 27.94%, 모음2는 32.83%였다.

원래 그대로 쓴 AI의 대화 끝 적중률은 각각 21.54%와 25.35%였다. 원하는 영화에 닿기까지 필요한 주고받기도 후보를 좁히는 방식에서 줄었다.

| 방법 | 모음1 첫 추천 적중 | 모음1 상위 5개 적중 | 모음1 대화 끝 적중 | 모음1 필요한 주고받기 | 모음2 대화 끝 적중 | 모음2 필요한 주고받기 |
|---|---|---|---|---|---|---|
| 그대로 쓴 AI | 1.60% | 1.94% | 21.54% | 3.37번 | 25.35% | 2.94번 |
| 원래 대화로만 가르침 | 2.06% | 3.32% | 23.90% | 4.12번 | 23.98% | 2.87번 |
| 「대화 잘 이끌기」 점수로 나은 응답 고르기 | 3.15% | 5.09% | 26.60% | 3.12번 | 30.03% | 2.86번 |
| 「후보 좁히기」 점수로 고른 대화만 학습(대화 전체 기준) | 3.00% | 5.21% | 26.93% | 2.94번 | 29.31% | 2.81번 |
| 「후보 좁히기」 점수로 나은 응답 고르기(한 번 주고받기 기준) | 3.32% | 5.21% | 27.94% | 3.07번 | 31.62% | 2.75번 |
| 「후보 좁히기」 점수로 나은 응답 고르기(대화 전체 기준) | 3.15% | 5.05% | 27.02% | 3.05번 | 32.83% | 2.74번 |

다만 숫자를 볼 때 한계도 함께 봐야 한다. 첫 추천에서 정답을 맞힌 비율은 가장 좋은 경우에도 3.32%였고, 상위 5개로 넓혀도 5.21%였다.

또 작은 AI 하나를 사용했고 고객 역할도 사람이 아니라 AI가 맡았다. 연구진도 사람의 평가와 더 큰 모델을 대상으로 한 시험이 남은 과제라고 적었다.

## 우리 가게 상담에는 어떻게 적용할 수 있을까

이 결과를 가게 상담 챗봇이나 전화·메시지 상담에 옮겨 보면, 넓은 질문만 반복하기보다 고객의 답을 들었을 때 추천 후보가 확 줄어드는 질문을 먼저 하는 방식으로 볼 수 있다(예상). 예를 들어 꽃집이라면 「선물이세요, 집에 두실 건가요?」처럼 용도를 묻거나 「예산은 3만 원 안쪽인가요?」처럼 가격대를 묻는 식이다.

먼저 두세 가지를 보여 주고 「이 중 어느 쪽이 가까우세요?」라고 묻는 방식도 생각할 수 있다. 연구에서는 이렇게 먼저 후보를 보여 주고 고객의 반응을 받는 방식도 후보를 좁히는 데 효과가 있었다.

| 되묻기 방식 | 연구에서 본 것 | 가게에 옮길 때(예상) |
|---|---|---|
| 넓은 취향 질문 | 늘 좋은 것은 아님 | 「어떤 스타일 좋아하세요?」만으로는 부족 |
| 후보를 확 줄이는 질문 | 좁힌 정도 1.728 대 0.733 | 용도·예산·날짜처럼 답하면 후보가 갈리는 질문 |
| 먼저 몇 개 보여 주고 반응 묻기 | 후보 좁히기에 효과 | 두세 가지 보여 주고 고르게 하기 |
| 주고받는 횟수 | 3.37번 → 3.07번 | 짧게 끝낼수록 고객 부담이 준다 |

중요한 것은 질문을 많이 준비하는 것이 아니다. 고객이 한 번 답했을 때 다음에 권할 후보가 얼마나 줄어드는지를 보는 것이다.

이 관점에서 보면 가게 상담 챗봇이 무엇을 물어야 하는지도 달라진다. 「어떤 스타일 좋아하세요?」처럼 범위가 넓은 질문을 계속하는 것보다 용도·예산·날짜처럼 답에 따라 후보가 갈리는 조건을 묻는 편이 상담의 다음 단계로 이어지기 쉽다.

고객이 AI와 계속 주고받는 상황도 함께 볼 필요가 있다. 오픈서베이 2026년 7월 조사에서는 AI 답을 받은 뒤 이어서 다시 묻는다는 사람이 42.3%였다. 미국 퓨리서치 조사에서는 챗GPT를 써 본 성인이 2026년 2월 조사에서 34%에서 44%로 늘었다.

대화가 이어질수록 AI는 고객이 말한 용도와 가격대, 시간, 지역 같은 조건을 바탕으로 후보를 좁혀 간다. 이런 조건이 홈페이지에 충분히 적혀 있지 않은 가게라면, 고객에게 필요한 정보가 있어도 AI가 그 가게를 추천 후보에 넣기 어려울 수 있다.

결국 가게 홈페이지에 정보를 많이 적는 것만으로 끝나지 않는다. 고객이 실제로 묻고 답하는 과정에서 어떤 조건이 선택지를 가르는지 알 수 있게 정보를 갖춰 두는 것도 중요하다.

① 후보 좁히기로 가르친 AI의 대화 끝 적중률은 21.54%→27.94%, 25.35%→32.83%로 올랐다 ② 필요한 주고받기는 3.37번→3.07번, 2.94번→2.74번으로 줄었다 ③ 대화를 잘 이끄는 점수는 0.9 대 0.8이었지만, 후보를 좁힌 정도는 1.728 대 0.733이었다 ④ 첫 추천 적중은 가장 좋아도 3.32%였고, 작은 AI와 AI가 연기한 고객으로 시험했다

## 같이 읽을 글

 

- AI에 마지막 질문만 넣어 보면 왜 놓치는 게 많을까?

- AI 쇼핑 비서는 고객 조건을 어디서 놓칠까?

- 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
 

## 자료 출처

 

- Ask to Be Sure: Informative Interactions for Confident Multi-Turn LLM Recommendation(Bai 등 9인, 아마존·CIKM 2026 채택·2026년 8월 arXiv 제출·대화 모음 2종 훈련 801·8,631개)

- 같은 연구 PDF 전문(표 1 수록)

- 같은 연구진의 보충 자료 저장소(대화 예시·프롬프트)

- CollabLLM: From Passive Responders to Active Collaborators(Wu 등·ICML 2025 — 비교 대상인 「대화 잘 이끌기」 점수 방식)

- INSPIRED: Toward Sociable Recommendation Dialog Systems(Hayati 등·EMNLP 2020 — 실험에 쓴 영화 추천 대화 모음)

- LLMs Get Lost In Multi-Turn Conversation(Laban 등·ICLR 2026 — 여러 번 주고받는 대화에서 AI가 흔들리는 문제)

- AI 검색 트렌드 리포트 2026 하반기(오픈서베이, 2026.7.2, 전국 1,000명 — 이어서 묻기 42.3%)

- Americans and AI 2026: Chatbots, Smart Devices and Views on Impact(퓨리서치센터, 2026.6.17 발표, 미국 성인 5,119명, 2026.2.17~23 조사)