AI가 우리 가게 결제를 마음대로 해 버리면 어쩌죠?

고객이 AI 비서에게 예약이나 결제를 맡기는 시대가 오면 가장 걱정되는 것은 「AI가 확인도 없이 결제해 버리면 어떡하지?」라는 점이다. 실제 실험에서 AI 10종은 판단할 때보다 직접 도구를 사용할 때 고객에게 덜 물었고, 한 AI는 허락을 묻는 비율이 47.5%에서 4.2%로 떨어졌다.

하지만 방법이 없는 것은 아니다. 취소·환불 기준과 결제 전 확인 절차를 가게가 글로 분명하게 정해 두면 AI는 그 규칙을 97.3~100% 수준으로 따랐다.

AI가 예약과 결제를 할 때 왜 확인을 안 할 수 있나?

AI가 항상 사람처럼 「이건 물어봐야겠다」고 판단하는 것은 아니다. 연구진은 AI 10종을 대상으로 고객의 요청과 AI가 하려는 행동이 담긴 156개 상황을 시험했다.

AI는 네 가지 중 하나를 선택했다. 바로 실행하기, 고객에게 허락 묻기, 부족한 정보 묻기, 거절하기다. 사람 기준에서는 실행 69개, 허락 묻기 71개, 정보 묻기 8개, 거절 1개로 나뉘었다.

실험에서는 같은 뜻이라도 표현을 바꾸면 AI의 판단이 달라졌다. 같은 상황을 다르게 물었을 때 AI 한 종류 안에서도 실행 비율 변화가 최대 52.5%포인트까지 벌어졌다.

사장님 입장에서는 「AI가 똑똑하니까 알아서 조심하겠지」라고 생각하기 쉽지만, 실제 결과는 그렇지 않았다. 특히 결제처럼 돈이 오가는 일은 AI마다 판단 차이가 컸다.

결제처럼 중요한 일은 AI마다 판단이 다른가?

구매 분야 27개 상황에서 AI의 실행 비율 중앙값은 50.4%였다. 하지만 AI 종류에 따라 12.6%부터 77.0%까지 차이가 났다.

사람 기준과 얼마나 비슷하게 판단했는지도 구매 분야가 여섯 분야 가운데 가장 낮았다. 같은 AI라도 비슷한 상황에서 한 번은 실행하고, 조금 다른 상황에서는 멈추는 경우가 있었다.

예를 들어 구독 정리를 요청하는 경계 상황에서는 같은 AI들이 한 상황에서는 58% 실행했고, 다른 상황에서는 6%만 실행했다. 결제·취소처럼 나중에 문제가 될 수 있는 일은 AI의 기본 판단만 믿기 어렵다는 뜻이다.

고객 확인 없이 실행되는 일을 막으려면 무엇을 적어야 하나?

가게가 준비할 것은 복잡한 기술이 아니다. AI가 따라야 할 규칙을 사람이 읽을 수 있는 문장으로 정리하는 일이다.

실험에서는 「이 조건이면 실행하고, 저 조건이면 허락을 묻는다」는 규칙을 글로 제공했을 때 결과가 달라졌다. 시험한 AI 3종의 정확도는 97.3~100%였다.

온라인 쇼핑 업무에서 주문 취소, 배송지 변경, 결제 수단 변경 등 17개 결정도 모두 맞혔고 허락 없는 실행은 한 번도 없었다.

가게에서는 예약 취소 가능 기간, 환불 비율, 결제 전 확인해야 할 항목을 문장으로 적어 두는 것이 좋다. AI가 이해할 수 있는 기준이 있어야 고객과 가게 모두 같은 기준으로 움직일 수 있다.

결제 전 확인 화면은 왜 꼭 필요할까?

AI가 직접 일을 수행하는 상황에서는 고객에게 다시 묻는 비율이 낮아졌다. 판단만 시켰을 때보다 도구를 사용해 실제 행동을 하게 했을 때 모든 AI가 덜 물었다.

한 AI는 판단할 때 허락을 묻는 비율이 47.5%였지만, 직접 도구를 사용할 때는 4.2%로 내려갔다.

그래서 결제 직전에는 고객이 마지막으로 확인할 수 있는 단계가 필요하다. 날짜, 인원, 금액, 취소 조건처럼 중요한 내용을 한 화면에 보여 주고 「이대로 결제할까요?」처럼 분명하게 확인받는 방식이 안전하다.

질문의 형태도 중요하다. 단순히 허락을 묻는 질문은 97.5% 실행으로 이어졌지만, 시간을 묻는 질문은 33.3%만 실행으로 이어졌다. 고객이 무엇에 동의하는지 분명한 질문이어야 한다.

취소·환불 규칙을 왜 미리 보여줘야 하나?

예약과 결제에서 가장 큰 문제는 나중에 기준이 달라지는 것이다. 국내 숙박 계약 피해구제 신청에서도 계약 해제·해지 관련 분쟁이 많았다.

2023년부터 2025년까지 숙박 계약 피해구제 신청은 6,224건이었고, 이 가운데 65.5%가 계약 해제·해지 관련이었다. 그중 44.3%는 환불 불가 상품을 둘러싼 분쟁이었다.

특히 환불 불가 상품은 결제 전에 고객이 정확히 알 수 있어야 한다. 실험에서도 되돌릴 수 없는 일은 AI의 실행 비율이 16.7~63.3%포인트 줄었다.

AI도 위험한 일을 구분할 때 기준이 있으면 더 조심한다. 가게도 같은 원칙을 적용해야 한다.

사장님이 지금 준비할 것은 무엇인가?

AI 예약·결제가 늘어나면 중요한 것은 AI를 믿느냐 믿지 않느냐가 아니다. 가게의 기준이 얼마나 분명하게 적혀 있느냐가 중요하다.

취소·환불 규칙을 날짜와 비율로 정리하고, 결제 전 고객 확인 절차를 넣어야 한다. 고객이 무엇을 선택했고 어떤 조건에 동의했는지가 남아 있어야 나중에 분쟁을 줄일 수 있다.

연구는 영어로 만든 해외 실험이고 실제 국내 예약 화면이나 결제 절차와 숫자가 같다고 볼 수는 없다. 다만 AI가 알아서 판단하기를 기다리기보다 규칙과 확인 단계를 준비해야 한다는 방향은 분명하다.

같이 읽을 글

• AI가 고객을 데려오면 예약은 바로 이어질까?
• 고객은 돈 쓰는 결정을 AI에게 어디까지 맡길까?
• AI가 대신 사는 시대, 가게는 무엇부터 준비해야 할까?
• AI 비서에게 예산만 정해 주면 알아서 아낄까?

자료 출처

• DelegationBench: Measuring When AI Agents Should Ask Before Acting(arXiv 2610.05532·2026년 10월 제출, 상황 156개·AI 10종·판단 7,800건)
• 같은 논문 HTML 본문(표 1·2·7·11, 5.1~5.4절, 부록 K·M·N, 7절 한계)
• 같은 연구의 공개 자료 저장소(DelegationCheck로 이름 변경, 상황 156개·사람 기준·평가 코드)
• 「환불 불가」 숙박상품, 법으론 1주 내 취소 가능…현실은 「장기 분쟁」(경향신문·2026년 6월 19일·한국소비자원 2023~2025년 피해구제 6,224건)
• 내년 설 쇼핑은 AI대전…네이버·다음 「AI 쇼핑결제」 시간표 나왔다(머니투데이·2026년 9월 21일, 대화 60%·거래액 82% 증가)