AI가 정한 숙소 가격, 믿어도 될까?

AI에게 숙소 가격을 판단하게 하는 일이 늘어날수록, 그 숫자를 그대로 믿어도 되는지가 중요해진다. 코넬대 연구진이 AI 6종을 시험한 결과, 같은 고객 조건을 줘도 질문 방식에 따라 가격 판단이 달라졌다. 특히 호텔에서는 AI가 계산한 값의 어긋남이 요금의 18.9~44.9%까지 나타났다.

AI에게 숙소 가격을 물으면 무엇이 달라질까

고객이 원하는 조건을 AI에게 알려주고, 여러 숙소 가운데 무엇을 고를지 판단하게 하는 방식이 쓰이고 있다. 예를 들어 고객이 조용하고 깨끗한 방을 원한다고 하면, AI가 각 방의 조건을 숫자나 값으로 바꿔 비교할 수 있다.

이때 중요한 것은 AI가 어떤 질문을 받더라도 같은 기준으로 가격을 계산하는지다. 한 방의 값을 따로 물었을 때와 두 방을 놓고 어느 쪽이 더 나은지 물었을 때 결과가 달라진다면, 그 숫자를 하나의 기준으로 보기 어렵다.

연구진은 항공권, 임대 아파트, 호텔을 대상으로 이 문제를 살폈다. 세 분야의 여러 가격과 조건을 조합하고, 고객 설명도 다르게 만들어 AI 6종에 반복해서 질문했다.

어떻게 물어봤나

질문은 크게 두 가지였다. 하나는 「이 고객은 이 상품에 최대 얼마까지 낼까」처럼 물건 하나의 값을 묻는 방식이고, 다른 하나는 두 상품의 가격을 제시하고 「두 상품이 고객에게 똑같이 좋아지려면 가격을 얼마나 바꿔야 하나」를 묻는 방식이다.

AI가 하나의 일관된 기준으로 가격을 계산한다면 두 질문에서 나온 결과도 서로 맞아야 한다. 한 방의 값을 따로 계산한 뒤 두 방의 차이를 비교했을 때와, 처음부터 두 방을 비교했을 때의 결과가 같아야 한다는 뜻이다.

연구진은 이 기준을 여러 조합에 적용했다. 그 결과 AI 6종 모두 가격 판단을 하나의 일관된 기준만으로 설명하기 어렵다는 결과가 나왔다.

호텔에서 특히 차이가 컸나

그렇다. 연구진은 각 방에 AI의 답을 가장 잘 설명하는 값을 따로 주는 방식으로도 어긋남이 얼마나 남는지 계산했다. 항공권과 임대 아파트에서는 상대적으로 작았지만, 호텔에서는 차이가 크게 나타났다.

호텔의 어긋남은 AI에 따라 요금의 18.9~44.9%였다. 예를 들어 제미나이 3.5 플래시의 어긋남은 104.0달러였고, 큐원 3.6 27B에서는 247.2달러였다.

연구진은 분야마다 질문 구조가 달라 항공권과 임대 아파트, 호텔의 숫자를 단순하게 비교해서는 안 된다고 설명했다. 중요한 점은 분야가 무엇이든 AI의 가격 판단에 질문 방식에 따른 차이가 나타났다는 것이다.

질문만 바꿨는데 방 선택까지 달라졌나

그런 경우도 있었다. 연구진이 방 하나씩 물었을 때의 답과 두 방을 직접 비교해 물었을 때의 답을 48건씩 비교한 결과, 모델에 따라 41.7~87.5%에서 두 답이 통계적으로 달랐다.

차이가 단순히 가격의 크기에 그친 것도 아니다. 어떤 경우에는 한 질문에서는 A 방이 더 낫다고 판단하고, 다른 질문에서는 B 방이 더 낫다고 판단했다. 이런 선택의 뒤집힘은 AI에 따라 2.1~12.5%였다.

바로 비교해서 얻은 답과 비교를 여러 단계로 나눠 물었을 때의 답을 비교한 시험에서도 차이가 나타났다. 어긋난 비율은 모델에 따라 6.2%에서 68.8%까지 달랐지만, 이 경우 판단 방향이 뒤집히는 일은 드물었다.

연구진은 질문을 더 잘게 나눌수록 문제가 커질 수 있다는 점도 확인했다. 한 가지 조건만 조금씩 바꾸는 경로를 8단계나 16단계로 나눠 물으면, 2단계로 물을 때보다 모든 모델에서 오차가 커졌다.

그렇다면 AI의 가격 판단을 쓰면 안 되나

이번 실험만으로 그렇게 말할 수는 없다. 연구진이 확인한 것은 AI의 가격 판단이 스스로 앞뒤가 맞는지였고, 실제 고객이 생각하는 가격과 얼마나 맞는지는 시험하지 않았다.

사람도 같은 상품을 어떤 방식으로 설명하느냐에 따라 다르게 판단할 수 있다. 연구진도 이 점을 인정했으며, AI의 가격 판단을 무조건 버리라는 결론을 내린 것은 아니다.

대신 실제 사람의 판단으로 교차 확인할 수 있다면 그렇게 하고, AI를 사용하기 전에는 같은 내용을 서로 다른 방식으로 물어보는 점검을 해보라고 권고했다. 이렇게 했을 때 앞뒤가 더 잘 맞는 모델을 선택하는 방법도 제시했다.

이 결과가 숙소 사장님에게 중요한 이유는 뭘까

AI가 숙소를 고를 때 가격은 실제 선택에 영향을 주는 요소다. 다른 실험에서는 AI 12종에게 호텔 5곳 가운데 하나를 고르게 했는데, 별점이 가장 높을 때 추천 확률이 31.6퍼센트포인트 올라갔고 가격이 높을 때는 30.0퍼센트포인트 낮아졌다.

목록에서 앞에 놓인 숙소도 영향을 받았다. 이 실험에서는 앞자리에 있는 것만으로 1박 약 12달러어치의 효과가 나타났다. 온라인 쇼핑객을 대상으로 한 별도 조사에서는 3개국 소비자 5,241명 가운데 48%가 구매 전에 AI를 사용한다고 답했다.

다만 이 결과를 숙소 가격 자체에 그대로 적용해서는 안 된다. 앞의 실험들은 AI가 가격과 조건을 어떻게 판단하는지를 본 것이고, 실제 고객이 특정 숙소에 얼마를 지불할지를 직접 측정한 실험은 아니기 때문이다.

사장님이 지금 챙길 것은 무엇인가

숙소 정보를 AI가 읽고 판단할 수 있게 하려면 가격만 적어두기보다 가격에 포함되는 조건을 함께 적어두는 것이 중요하다. 1박 요금과 함께 조식이나 주차 같은 포함 항목, 성수기 추가 요금처럼 가격을 바꾸는 조건을 분명하게 적어두면 AI가 짐작해야 할 부분이 줄어들 것으로 보인다(예상).

반대로 AI를 가상 고객처럼 활용해 가격을 정하려는 경우에는 한 번의 답만 보고 결정하지 않는 편이 낫다. 같은 조건을 한 방의 가치로 물어보고, 다시 두 방을 비교하는 방식으로 물어본 뒤 결과가 서로 맞는지 확인할 수 있다.

결국 이번 연구가 보여주는 것은 AI가 가격을 전혀 계산하지 못한다는 뜻이 아니다. AI가 내놓은 가격이 질문 방식에 따라 달라질 수 있으므로, 그 숫자가 어떤 조건에서 나온 것인지 함께 확인해야 한다는 점이다.

같이 읽을 글

• AI에게 숙소를 물으면 무엇을 보고 고를까?
• AI가 우리 펜션을 추천하면 홈페이지로 예약받을 수 있을까?
• 홈페이지에 가격을 적어야 하나?
• AI가 대신 사는 시대, 가게는 어디까지 맡겨야 할까?

자료 출처

• LLM-Derived Preference Judgments Are Not Self-Consistent(Ford 등 7인·코넬대·조지아공대·arXiv 2026년 8월 제출·AI 6종·모델당 4,500번·항공권·임대 아파트·호텔)
• 같은 논문 전체 본문(표 1~3·부록 B 기준 요금·질문 문구 수록)
• LISTEN to Your Preferences: An LLM Framework for Multi-Objective Selection(Jovine 등·코넬대·2025년 10월·고객 설명을 AI가 점수로 바꿔 항공권 등을 고르는 방식)
• Whose hotel does the AI recommend?(Baig·Gillani·Ali·2026년 6월·AI 12종 — 별점 최고 +31.6퍼센트포인트·높은 가격 −30.0·목록 앞자리 1박 약 12달러)
• Global Digital Shopping Index: The Agentic Commerce Deep Dive(PYMNTS 인텔리전스·비자·2026년 7월·미국·브라질·아랍에미리트 소비자 5,241명 — 온라인 쇼핑객 48% 구매 전 AI 사용)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(Zheng 등·2023·AI 판단의 순서·길이 치우침)