# AI가 추천한 가게, 정말 있는 가게일까?

_AI는 틀린 추천을 스스로 잘 알아차리지 못한다_

> 옐프 업체 추천의 11.6~38.7%, 아마존 장난감 추천의 49.3~61.0%가 목록에 없었다. 자신감 점수는 67~86점으로 실제 적중률 39.0~99.4%의 차이를 따라가지 못했다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/llm-recommenders-dont-know-when-item-is-fake
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-27

AI가 가게나 상품을 추천할 때, 그 이름이 실제로 존재하는지 스스로 잘 아는 것은 아니다. 옐프 업체 추천의 11.6~38.7%가 대조 목록에 없었고, 아마존 장난감은 49.3~61.0%가 목록 밖이었다. 더 중요한 점은 AI가 자신 있게 말한다고 해서 그 추천이 실제 목록에 있다는 뜻은 아니라는 것이다.

AI가 「자신 있다」고 말하는 것은 그 가게가 목록에 실제로 있다는 증거가 아니다.

## 이번 연구에서는 무엇을 확인했나

2026년 8월 공개된 연구는 AI가 추천한 이름과 실제 목록을 하나씩 대조했다. 연구진은 미스트랄 라지, 라마 3.3 70B, GPT-OSS 120B, 클로드 소넷 4.6 등 4종에 사용자의 최근 기록 30개를 보여 주고, 다음에 좋아할 만한 것 10개를 추천하게 했다.

대상은 영화 6만 2,423편, 아마존 장난감 89만 874개, 옐프 업체 15만 346곳이었다. 추천할 때마다 AI가 자신의 자신감을 0~100점으로 적게 한 뒤, 추천한 이름이 실제 목록에 있는지도 확인했다.

| 항목 | 내용 |
|---|---|
| 시험한 AI | 4종(미스트랄 라지, 라마 3.3 70B, GPT-OSS 120B, 클로드 소넷 4.6) |
| 대조한 목록 | 영화 6만 2,423편 · 아마존 장난감 89만 874개 · 옐프 업체 15만 346곳 |
| 사용자 | 목록마다 300명(기록 30개 이상) |
| 추천 수 | 사용자당 10개, 한 조합당 2,947~3,000개 |
| 자신감 | AI가 추천마다 0~100점으로 스스로 적음 |
| 사람 판정 | 201건(아마존 표본에서 느슨한 대조 93.8% vs 사람 48.9%) |

그런데 여기서부터 중요한 문제가 있었다. AI가 추천한 이름이 목록에 있는지를 단순한 글자 대조로 판단하면 실제보다 많이 잡힐 수 있었다. 아마존 추천 표본을 사람이 직접 확인했을 때, 느슨한 글자 대조는 93.8%를 목록에 있다고 봤지만 사람의 판정은 48.9%였다.

그래서 연구진은 사람이 직접 판정한 201건의 결과와 가장 가까운 방법을 골라 최종 비교에 사용했다.

## AI가 추천한 가게 중 실제 목록에 없는 이름은 얼마나 될까

목록에 없는 이름은 대상에 따라 크게 달랐다. 영화처럼 인터넷에 이름이 널리 알려진 목록에서는 0.6~2.7%로 적었다. 반면 가게 이름과 지역을 함께 봐야 하는 옐프 업체는 11.6~38.7%, 긴 상품명이 많은 아마존 장난감은 49.3~61.0%였다.

| AI | 영화 | 옐프 업체 | 아마존 장난감 |
|---|---|---|---|
| 미스트랄 라지 | 2.0% | 11.6% | 49.3% |
| 라마 3.3 70B | 0.6% | 12.9% | 53.6% |
| GPT-OSS 120B | 2.7% | 38.7% | 61.0% |
| 클로드 소넷 4.6 | 1.2% | 14.4% | 50.6% |
| 사람 판정으로 다시 잡은 값 | 1.2% | 11.0% | 51.1% |

모델 크기가 크다고 이 문제가 사라진 것도 아니다. 네 모델 가운데 GPT-OSS 120B는 옐프와 아마존 두 목록에서 목록 밖 이름을 가장 많이 만들었다.

다만 「목록에 없다」는 말을 곧바로 「세상에 없는 가게」라고 이해해서는 안 된다. 이번 연구에서 말하는 목록은 연구에 사용한 공개 목록이기 때문이다. 특히 옐프 공개 데이터는 일부 지역에 몰려 있어, 목록 밖 이름이 모두 실제로 존재하지 않는 가게라는 뜻은 아니다.

## AI가 자신 있다고 하면 믿어도 될까

이번 결과만 보면 그렇게 보기 어렵다. 12개 조합에서 AI의 평균 자신감은 67~86점이었지만, 실제 목록에 있던 비율은 39.0~99.4%까지 크게 달랐다.

| 목록 | 실제로 목록에 있던 비율 | AI 자신감 | 판정 |
|---|---|---|---|
| 영화 | 97.3~99.4% | 77.8~86.2점 | 4종 모두 실제보다 낮게 말함 |
| 옐프 업체 | 목록 밖 11.6~38.7% | 조합별 67~86점 범위 | 3종은 낮게, GPT-OSS만 높게 |
| 아마존 장난감 | 39.0~50.7% | 실제보다 24.4~42.7점 높음 | 4종 모두 과신 |
| 12개 조합 전체 | 39.0~99.4% | 67~86점(폭 19점) | 낮게 7개·높게 5개 |

특히 아마존 장난감에서는 4종 모두 자신감을 실제 적중률보다 24.4~42.7점 높게 적었다. 반대로 영화에서는 실제 목록에 있는 비율이 97.3~99.4%였는데 자신감은 77.8~86.2점으로 더 낮았다.

즉 자신감 점수가 실제 목록 존재 여부를 그대로 보여 주지는 않았다. 연구진은 AI가 「이 이름이 실제 목록에 있는가」를 판단하기보다 「괜찮은 추천인가」에 가까운 답을 하고 있는 것으로 봤다.

## 덜 알려진 가게나 상품을 찾으면 더 틀릴까

아마존에서는 차이가 뚜렷했다. 사용자가 실제로 다음에 고른 상품의 인기도를 기준으로 나눠 보니, 덜 알려진 상품을 찾는 쪽에서 목록 안 추천 비율이 더 낮아졌다.

미스트랄은 52.1%에서 28.2%로 떨어졌고, 클로드는 50.0%에서 40.0%로 떨어졌다. 그런데 자신감은 거의 그대로였다.

| 목록 · AI | 인기 상품을 찾는 쪽 | 덜 알려진 상품을 찾는 쪽 |
|---|---|---|
| 아마존 · 미스트랄 목록 안 비율 | 52.1% | 28.2% |
| 아마존 · 클로드 목록 안 비율 | 50.0% | 40.0% |
| 아마존 · 미스트랄 어긋남 | 0.342 | 0.588 |
| 아마존 · 클로드 어긋남 | 0.238 | 0.349 |
| 옐프 · 미스트랄 어긋남 | 0.066 | 0.098 |
| 옐프 · 라마 어긋남 | 0.120 | 0.112 |
| 옐프 · GPT-OSS 어긋남 | 0.182 | 0.224 |
| 옐프 · 클로드 어긋남 | 0.185 | 0.193 |

옐프도 같은 방향이 일부 나타났지만 차이는 더 작았다. 모델에 따라 반대 결과도 있었다.

가게 입장에서는 이 부분을 눈여겨볼 필요가 있다. 고객이 이미 유명한 곳이 아니라 잘 알려지지 않은 동네 가게를 찾을 때, AI가 실제 목록을 확인하지 않고 추천하면 엉뚱한 이름이 나올 가능성을 무시하기 어렵다.

## AI의 자신감이 낮은 추천만 빼면 해결될까

이번 연구에서는 효과가 거의 없었다. 연구진은 자신감 점수를 기준으로 추천을 여러 단계로 걸러 내는 48가지 조합을 시험했다.

가장 많이 좋아진 경우에도 틀린 비율은 1.65%포인트 줄어드는 데 그쳤다. 가운데 값은 0.02%포인트였고, 48가지 가운데 18가지는 오히려 걸러 낸 뒤 목록 밖 추천이 더 늘었다.

| 조건 | 목록 밖 비율 |
|---|---|
| 옐프 · GPT-OSS, 거르지 않음 | 38.7% |
| 옐프 · GPT-OSS, 가장 많이 거름 | 37.0% |
| 아마존 · 미스트랄, 거르지 않음 | 49.3% |
| 아마존 · 미스트랄, 가장 많이 거름 | 50.0% |
| 48가지 조합 중 가장 크게 줄어든 폭 | 1.65%포인트 |
| 거른 뒤 오히려 나빠진 조합 | 48가지 중 18가지 |
| 목록 기준으로 묻기(라마 3.3 · 옐프) | 12.9% → 1.5% |

이 결과는 간단하다. AI가 스스로 매긴 자신감에 「이 가게는 실제로 존재한다」는 정보가 충분히 들어 있지 않다는 뜻이다.

반면 질문 방식을 바꾸자 결과가 크게 달라졌다. 라마 3.3에게 옐프 목록을 기준으로 답하도록 했을 때 목록 밖 비율이 12.9%에서 1.5%로 줄었다.

다만 이때 추천 목록 자체도 달라졌다. 클로드는 목록 안 비율이 91.1%로 올라갔지만 자신감은 67.2점에서 53.0점으로 내려갔다. 모델마다 자신감이 움직이는 방향도 같지 않았다.

## 그렇다면 동네 가게 홈페이지는 왜 중요할까

다른 조사에서도 비슷한 결과가 나왔다. 미국 동네 의사 추천을 정부 명부와 대조한 2026년 9월 연구에서는 검색 없이 AI가 추천한 의사 가운데 실제 존재하는 사람이 4~11%였지만, 검색을 켜면 64~71%로 올라갔다.

발리의 식당·카페 4,776곳을 조사한 결과에서는 85.6%가 AI 추천에 포함되지 못했다. 또 오픈AI는 2026년 7월 23일 옐프와 계약해 옐프 후기를 챗GPT에 들여오기로 했다.

| 관련 숫자 | 내용 |
|---|---|
| 동네 의사 추천(미국, 2026년 9월) | 검색 없이 실제 존재 4~11% · 검색 켜면 64~71% |
| 발리 식당·카페 4,776곳 | 85.6%가 AI 추천에 들지 못함 |
| 오픈AI–옐프 계약 | 2026년 7월 23일, 옐프 후기를 챗GPT에 |
| 이번 실험: 목록 기준으로 묻기 | 옐프 목록 밖 12.9% → 1.5%(라마 3.3) |

이런 결과를 보면 AI가 실제 목록을 찾아보고 답할수록 틀림을 줄이는 데 도움이 된다고 볼 수 있다. 그래서 동네 가게는 AI가 찾아볼 수 있는 정보 안에서 가게 이름과 지점명, 주소, 업종을 정확하게 확인할 수 있도록 해 두는 것이 중요하다.

특히 여러 곳에서 이름을 다르게 쓰거나 비슷한 이름의 가게가 많다면 AI가 어느 가게를 말하는지 맞춰 보기 어려워질 수 있다. 반대로 홈페이지와 지도, 플랫폼에서 같은 이름과 주소를 사용하면 AI가 실제 정보를 대조하기 쉬워 보인다.

이번 연구가 보여 주는 핵심은 「AI가 자신 있게 추천하느냐」가 아니다. 고객이 찾는 가게가 실제 정보 목록에서 정확한 이름으로 확인될 수 있느냐에 더 가깝다.

① 옐프 업체 추천의 11.6~38.7%, 아마존 장난감 추천의 49.3~61.0%가 목록에 없었다 ② AI 자신감은 67~86점이었지만 실제 목록 적중률은 39.0~99.4%로 달랐다 ③ 자신 없는 추천을 걸러 내도 틀림은 최대 1.65%포인트만 줄었고 48가지 중 18가지는 오히려 나빠졌다 ④ 옐프 목록을 기준으로 묻자 라마 3.3의 목록 밖 비율이 12.9%에서 1.5%로 줄었다

## 같이 읽을 글

 

- AI가 추천한 동네 의사는 실제로 있는 사람일까

- 네이버 플레이스만 있으면 될까?

- 경쟁 업체가 거짓 글을 올리면 AI가 우리 가게를 잘못 추천할까?
 

## 자료 출처

 

- Do LLM Recommenders Know When They're Hallucinating? Auditing Confidence Calibration in Catalog Faithfulness(Ravikumar·2026년 8월 arXiv v3·CIKM 2026·AI 4종·목록 3개·사용자 목록당 300명)

- 같은 연구 전체 본문(HTML, 표 1~4 수록)

- 실험 판정 기록·사람 판정 201건 저장소(깃허브)

- Yelp Open Dataset(옐프 공개 업체 데이터)

- Just Ask for Calibration(Tian 외·2023, AI에게 자신감을 숫자로 묻는 방법)

- Understanding AI Provider Recommendations in Local Service Markets(Ibrahim·Zaki·2026년 9월, 동네 의사 추천의 실제 존재율)

- Invisible to the Machine(Pitenin·2026년 8월, 발리 식당·카페 4,776곳 AI 추천 조사)

- 야후 파이낸스 「Yelp stock pops 8% as OpenAI licensing deal brings reviews to ChatGPT」(2026년 7월 23일)