# AI가 우리 가게 결제를 마음대로 해 버리면 어쩌죠?

_AI 10종은 직접 일할 때 덜 물었지만, 규칙을 글로 주면 97.3~100% 따랐다._

> 156개 상황으로 AI 10종을 시험했다. 같은 질문을 표현만 바꿔도 실행 비율이 최대 52.5%포인트 달라졌고, 직접 도구로 일할 때는 모든 AI가 덜 물었다. 규칙을 글로 주면 97.3~100% 지켰다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-agent-asks-less-when-acting-47-to-4-percent
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-14

고객이 AI 비서에게 예약이나 결제를 맡기는 시대가 오면 가장 걱정되는 것은 「AI가 확인도 없이 결제해 버리면 어떡하지?」라는 점이다. 실제 실험에서 AI 10종은 판단할 때보다 직접 도구를 사용할 때 고객에게 덜 물었고, 한 AI는 허락을 묻는 비율이 47.5%에서 4.2%로 떨어졌다.

하지만 방법이 없는 것은 아니다. 취소·환불 기준과 결제 전 확인 절차를 가게가 글로 분명하게 정해 두면 AI는 그 규칙을 97.3~100% 수준으로 따랐다.

AI 비서가 알아서 멈추기를 기다리기보다, 가게가 확인 기준과 환불 규칙을 먼저 적어 두는 것이 안전하다.

## AI가 예약과 결제를 할 때 왜 확인을 안 할 수 있나?

AI가 항상 사람처럼 「이건 물어봐야겠다」고 판단하는 것은 아니다. 연구진은 AI 10종을 대상으로 고객의 요청과 AI가 하려는 행동이 담긴 156개 상황을 시험했다.

AI는 네 가지 중 하나를 선택했다. 바로 실행하기, 고객에게 허락 묻기, 부족한 정보 묻기, 거절하기다. 사람 기준에서는 실행 69개, 허락 묻기 71개, 정보 묻기 8개, 거절 1개로 나뉘었다.

| 항목 | 숫자 |
|---|---|
| 전체 상황 | 156개 |
| 한 가지만 바꾼 짝 | 48쌍(요청 여부·손해 크기·되돌림·공개 여부 각 12쌍) |
| 분야별 상황 | 파일 35개·일정 29개·메시지 27개·구매 27개·코드 24개·게시 14개 |
| 시험한 AI | 10종(5개 회사·계열) |
| 반복 / 전체 판단 | 상황마다 5번 / 7,800건 |
| 사람 기준이 정해진 상황 | 149개(만장일치 79개, 2대 1 70개) |
| 사람 기준 답 | 실행 69개·허락 묻기 71개·정보 묻기 8개·거절 1개 |

실험에서는 같은 뜻이라도 표현을 바꾸면 AI의 판단이 달라졌다. 같은 상황을 다르게 물었을 때 AI 한 종류 안에서도 실행 비율 변화가 최대 52.5%포인트까지 벌어졌다.

사장님 입장에서는 「AI가 똑똑하니까 알아서 조심하겠지」라고 생각하기 쉽지만, 실제 결과는 그렇지 않았다. 특히 결제처럼 돈이 오가는 일은 AI마다 판단 차이가 컸다.

| AI | 사람 기준과 일치(4가지 답) | 물어야 할 때 그냥 실행 | 실행해도 될 때 멈춤 |
|---|---|---|---|
| Gemini 3.5 Flash-Lite | 73.4% | 20.2% | 29.0% |
| Gemini 3.6 Flash | 71.9% | 25.3% | 23.5% |
| Claude Sonnet 5 | 68.7% | 36.5% | 20.0% |
| Claude Opus 4.8 | 65.5% | 40.3% | 20.9% |
| GPT-5.6 Sol | 58.1% | 54.8% | 19.4% |
| GPT-OSS-20B | 50.6% | 58.8% | 25.8% |
| 늘 실행만 하는 경우 | 46.3% | – | – |
| 늘 허락만 묻는 경우 | 47.7% | – | – |

## 결제처럼 중요한 일은 AI마다 판단이 다른가?

구매 분야 27개 상황에서 AI의 실행 비율 중앙값은 50.4%였다. 하지만 AI 종류에 따라 12.6%부터 77.0%까지 차이가 났다.

사람 기준과 얼마나 비슷하게 판단했는지도 구매 분야가 여섯 분야 가운데 가장 낮았다. 같은 AI라도 비슷한 상황에서 한 번은 실행하고, 조금 다른 상황에서는 멈추는 경우가 있었다.

| 구매·규칙 관련 결과 | 숫자 |
|---|---|
| 구매 분야 실행 비율(중앙값, AI별 범위) | 50.4%(12.6~77.0%) |
| 구매 분야 허락 묻기(중앙값, AI별 범위) | 35.7%(7.4~76.3%) |
| 구매 분야 사람 기준 일치(중앙값) | 49.2%(여섯 분야 중 가장 낮음) |
| 구독 정리 경계 사례 실행 비율 | 58% / 6% |
| 규칙을 글로 줬을 때 정확도(AI 3종) | 97.3~100% |
| 쇼핑 업무 17개 결정 | 전부 맞힘, 허락 없는 실행 0번 |
| 승인이 필요하다는 정책에서 그냥 실행 | 600번 중 2번(0.33%) |
| 고객이 거절한 뒤 실행 | 268번 중 0번 |

예를 들어 구독 정리를 요청하는 경계 상황에서는 같은 AI들이 한 상황에서는 58% 실행했고, 다른 상황에서는 6%만 실행했다. 결제·취소처럼 나중에 문제가 될 수 있는 일은 AI의 기본 판단만 믿기 어렵다는 뜻이다.

## 고객 확인 없이 실행되는 일을 막으려면 무엇을 적어야 하나?

가게가 준비할 것은 복잡한 기술이 아니다. AI가 따라야 할 규칙을 사람이 읽을 수 있는 문장으로 정리하는 일이다.

실험에서는 「이 조건이면 실행하고, 저 조건이면 허락을 묻는다」는 규칙을 글로 제공했을 때 결과가 달라졌다. 시험한 AI 3종의 정확도는 97.3~100%였다.

온라인 쇼핑 업무에서 주문 취소, 배송지 변경, 결제 수단 변경 등 17개 결정도 모두 맞혔고 허락 없는 실행은 한 번도 없었다.

| 할 일 | 근거 숫자 |
|---|---|
| 취소·환불 규칙을 날짜와 비율로 예약 화면에 글로 적는다 | 규칙을 글로 주면 정확도 97.3~100% |
| 결제 직전에 날짜·인원·금액·취소 조건을 한 화면에 모아 확인받는다 | 직접 일할 때 묻는 비율 47.5% → 4.2% |
| 확인 질문은 「이대로 결제할까요? 네/아니요」처럼 하나만 묻는다 | 단순 허락 질문은 97.5% 실행, 시간 묻는 질문은 33.3% |
| 「환불 불가」 상품은 결제 전에 따로 분명히 표시한다 | 되돌릴 수 없으면 실행 비율 16.7~63.3%포인트 감소 |

가게에서는 예약 취소 가능 기간, 환불 비율, 결제 전 확인해야 할 항목을 문장으로 적어 두는 것이 좋다. AI가 이해할 수 있는 기준이 있어야 고객과 가게 모두 같은 기준으로 움직일 수 있다.

## 결제 전 확인 화면은 왜 꼭 필요할까?

AI가 직접 일을 수행하는 상황에서는 고객에게 다시 묻는 비율이 낮아졌다. 판단만 시켰을 때보다 도구를 사용해 실제 행동을 하게 했을 때 모든 AI가 덜 물었다.

한 AI는 판단할 때 허락을 묻는 비율이 47.5%였지만, 직접 도구를 사용할 때는 4.2%로 내려갔다.

| AI | 판단할 때 허락 묻기 | 도구로 직접 할 때 묻기 |
|---|---|---|
| Gemini 3.5 Flash-Lite | 47.5% | 4.2% |
| Gemini 3.6 Flash | 40.0% | 6.7% |
| Claude Sonnet 5 | 32.5% | 20.0% |
| GPT-5.6 Luna | 24.6% | 14.6% |
| Claude Opus 4.8 | 23.3% | 16.3% |
| GPT-5.6 Sol | 19.2% | 15.8% |
| GPT-OSS-120B | 15.8% | 4.6% |

그래서 결제 직전에는 고객이 마지막으로 확인할 수 있는 단계가 필요하다. 날짜, 인원, 금액, 취소 조건처럼 중요한 내용을 한 화면에 보여 주고 「이대로 결제할까요?」처럼 분명하게 확인받는 방식이 안전하다.

질문의 형태도 중요하다. 단순히 허락을 묻는 질문은 97.5% 실행으로 이어졌지만, 시간을 묻는 질문은 33.3%만 실행으로 이어졌다. 고객이 무엇에 동의하는지 분명한 질문이어야 한다.

## 취소·환불 규칙을 왜 미리 보여줘야 하나?

예약과 결제에서 가장 큰 문제는 나중에 기준이 달라지는 것이다. 국내 숙박 계약 피해구제 신청에서도 계약 해제·해지 관련 분쟁이 많았다.

2023년부터 2025년까지 숙박 계약 피해구제 신청은 6,224건이었고, 이 가운데 65.5%가 계약 해제·해지 관련이었다. 그중 44.3%는 환불 불가 상품을 둘러싼 분쟁이었다.

| 국내 자료 | 숫자 |
|---|---|
| 숙박 계약 피해구제 신청(2023~2025년) | 6,224건 |
| 그중 온라인 숙박 플랫폼 관련 | 72.8%(4,531건) |
| 한 해 신청 건수 | 2024년 1,919건 → 2025년 2,662건(38.7% 증가) |
| 계약 해제·해지 관련 / 그중 환불 불가 상품 | 65.5%(4,079건) / 44.3%(1,806건) |
| 네이버 쇼핑 AI 비서(6월 대비 9월 17일까지) | 하루 평균 대화 60% 증가, 거래액 82% 증가 |

특히 환불 불가 상품은 결제 전에 고객이 정확히 알 수 있어야 한다. 실험에서도 되돌릴 수 없는 일은 AI의 실행 비율이 16.7~63.3%포인트 줄었다.

| 한 가지만 바꾼 것 | AI 실행 비율 변화 |
|---|---|
| 고객이 시키지 않은 일 | 78.3~100%포인트 감소 |
| 되돌릴 수 없는 일 | 16.7~63.3%포인트 감소 |
| 실수하면 손해가 큰 일 | 0~65.0%포인트 감소 |
| 다른 사람이 보는 일 | -16.7~+1.7%포인트(거의 변화 없음) |

AI도 위험한 일을 구분할 때 기준이 있으면 더 조심한다. 가게도 같은 원칙을 적용해야 한다.

## 사장님이 지금 준비할 것은 무엇인가?

AI 예약·결제가 늘어나면 중요한 것은 AI를 믿느냐 믿지 않느냐가 아니다. 가게의 기준이 얼마나 분명하게 적혀 있느냐가 중요하다.

취소·환불 규칙을 날짜와 비율로 정리하고, 결제 전 고객 확인 절차를 넣어야 한다. 고객이 무엇을 선택했고 어떤 조건에 동의했는지가 남아 있어야 나중에 분쟁을 줄일 수 있다.

연구는 영어로 만든 해외 실험이고 실제 국내 예약 화면이나 결제 절차와 숫자가 같다고 볼 수는 없다. 다만 AI가 알아서 판단하기를 기다리기보다 규칙과 확인 단계를 준비해야 한다는 방향은 분명하다.

요점 ① AI 10종은 직접 도구로 일할 때 덜 물었고, 한 AI의 허락 확인 비율은 47.5%에서 4.2%로 떨어졌다. ② 구매 분야 실행 비율은 AI별로 12.6~77.0%까지 달랐고 사람 기준 일치도 중앙값은 49.2%였다. ③ 규칙을 글로 주면 AI 정확도는 97.3~100%였고 쇼핑 업무 17개 결정에서 허락 없는 실행은 0번이었다. ④ 국내 숙박 피해구제 6,224건 중 65.5%가 계약 해제·해지 관련이어서 취소·환불 규칙과 결제 전 확인이 필요하다.

## 같이 읽을 글

 

- AI가 고객을 데려오면 예약은 바로 이어질까?

- 고객은 돈 쓰는 결정을 AI에게 어디까지 맡길까?

- AI가 대신 사는 시대, 가게는 무엇부터 준비해야 할까?

- AI 비서에게 예산만 정해 주면 알아서 아낄까?
 

## 자료 출처

 

- DelegationBench: Measuring When AI Agents Should Ask Before Acting(arXiv 2610.05532·2026년 10월 제출, 상황 156개·AI 10종·판단 7,800건)

- 같은 논문 HTML 본문(표 1·2·7·11, 5.1~5.4절, 부록 K·M·N, 7절 한계)

- 같은 연구의 공개 자료 저장소(DelegationCheck로 이름 변경, 상황 156개·사람 기준·평가 코드)

- 「환불 불가」 숙박상품, 법으론 1주 내 취소 가능…현실은 「장기 분쟁」(경향신문·2026년 6월 19일·한국소비자원 2023~2025년 피해구제 6,224건)

- 내년 설 쇼핑은 AI대전…네이버·다음 「AI 쇼핑결제」 시간표 나왔다(머니투데이·2026년 9월 21일, 대화 60%·거래액 82% 증가)