AI 점원에게 결제까지 맡겨도 될까?

AI에게 고객 응대뿐 아니라 주문과 결제까지 맡기는 서비스가 늘고 있다. 그런데 AI 모델을 좋은 것으로 바꾼다고 결제가 모두 안전해지는 것은 아니다. 실제 AI 거래 플랫폼 3곳을 시험한 연구에서는 결함 33개가 나왔고, 구조적인 결함은 모델과 상관없이 공격할 수 있었다.

AI가 결제까지 한다면 무엇이 위험한가

이스라엘 아리엘대 연구진은 AI 에이전트가 서비스를 찾고 돈을 보내며 고객의 인증 정보를 대신 쓰는 플랫폼 3곳을 조사했다. 대상은 에이전트 운영 서버인 CoralOS, 에이전트 주소록 방식의 Fetch.ai, 구글의 AI 결제 규약인 AP2 0.2.0판이다.

세 플랫폼에서 확인된 결함은 모두 33개였다. 대부분은 실제 가동 시스템에서 재현했고, 일부는 코드를 살펴 공격이 가능한지 확인했다.

결함의 상당수는 AI가 어떤 판단을 내리는지와 관계가 없었다. 권한을 제대로 확인하지 않거나, 동시에 들어온 요청을 처리하는 과정에 틈이 생기거나, 인증 비밀값이 기록에 남는 문제였다.

좋은 AI를 쓰면 이런 문제도 막을 수 있나

막을 수 있는 문제와 막을 수 없는 문제가 나뉜다. 연구에서 구조적인 결함으로 분류된 문제는 어떤 모델을 쓰더라도 같은 방식으로 공격할 수 있었다.

예를 들어 같은 결제 토큰을 두 번 사용하는 공격은 요청이 처리되는 시간 차이를 이용했다. 처리 일꾼이 하나일 때는 성공하지 않았지만, 둘일 때는 요청 사이의 시간 차이에 따라 성공률이 달라졌고 요청 시각을 맞추면 100% 이중 결제가 발생했다.

세 가지 결함을 이어 붙인 연쇄 공격도 있었다. 가짜 장터가 보낸 내용으로 비밀값을 빼낸 뒤 에이전트의 판단을 흔들고 입금 주소까지 바꾸는 방식이다.

이런 문제는 더 비싼 AI 모델을 붙이는 것만으로 해결되지 않는다. 결제 전에 무엇을 확인하고 어떤 정보만 AI가 바꿀 수 있게 할지를 플랫폼이 정해야 한다.

싼 AI 모델은 정말 더 위험한가

모델에 따라 차이가 난 공격도 있었다. 연구진은 결제 대행 서비스의 설명 칸에 가짜 입금 주소를 넣고, AI 에이전트가 그 주소로 돈을 보내는지 시험했다.

가짜 설명은 모든 모델에 똑같이 전달됐다. 차이는 그 설명을 믿고 실제 행동으로 옮겼는지에서 나타났다.

8개 모델을 온도 3단계와 문장 3종으로 조합해 모두 1,440번 시험했다. 전체 비용은 0.72달러였다.

결과만 보면 저가 모델 일부가 특히 취약했다. GPT-4o 미니와 제미나이 2.5 플래시는 가짜 주소를 따른 비율이 100%였고, 미스트랄 라지도 99%였다.

하지만 가격이 싸다는 이유만으로 결과가 결정되지는 않았다. 라마 3.3 70B는 10%였고, 클로드 3 하이쿠는 0%였다. 연구진은 모델 크기보다 안전 훈련이 차이를 만들었다고 봤다.

따라서 AI 점원을 고를 때는 가격만 보거나 모델 이름만 보는 것도 충분하지 않다. 결제와 관련된 행동을 실제로 어떻게 제한하는지가 함께 중요하다.

가게에서 가장 먼저 무엇을 확인해야 하나

아래는 연구가 가게에 직접 권한 것이 아니라 결과에서 끌어낸 예상이다. 첫째는 어떤 AI 모델을 쓰는지다. 같은 가짜 입금 주소를 두고도 모델에 따라 따른 비율이 0%에서 100%까지 달랐다. 모델 이름과 함께 안전 훈련이나 위험한 지시를 처리하는 방식도 확인할 필요가 있다.

둘째는 AI가 입금 계좌나 결제 주소를 대화 중에 바꿀 수 있는지다. 연구진은 허용된 입금처 목록을 AI 바깥에 두는 방법을 추가 대책으로 제시했다.

셋째는 고객 후기나 게시판 글을 AI가 읽는지다. 외부 글은 고객이 쓰는 내용이지만, AI가 그대로 읽으면 그 안의 문장이 AI에게 지시처럼 전달될 수 있다.

다른 연구진은 웹사이트 1만 곳 이상에서 사용하는 챗봇 플러그인 17종을 조사했다. 이 조사에서는 8종이 대화 기록이 조작돼도 알아채지 못했고, 외부 글을 읽는 도구를 제공한 플러그인은 15종이었다.

전자상거래 사이트 약 13%는 외부 글에 챗봇을 노출한 것으로 조사됐다. 가게 홈페이지의 챗봇이 후기나 게시판을 읽는다면, 그 내용이 단순한 정보인지 AI가 따라야 할 지시인지 구분하도록 만들어졌는지 확인해야 한다.

보안 기능이 실제로 도움이 됐나

연구진은 에이전트와 거래 서비스 사이에 확인 장치를 넣어 시험했다. 장터 응답에 서명을 요구하고, 입금 주소를 신원이 확인된 상대와 연결하며, 결제 확인과 차감을 한 번에 처리하는 방식이다.

그 결과 구조 결함 5갈래 가운데 4갈래는 성공률이 0%로 떨어졌다. 정상 요청 1만 건에서는 잘못 막은 경우가 없었고, 정상 요청 처리 지연의 중앙값은 0.015밀리초였다.

비밀값 노출은 경고를 하는 방식으로만 막을 수 있었다. 연구진은 2026년 7월 6일 세 곳에 결함을 알렸고, 90일 뒤인 10월 4일까지 세부 공격 코드를 공개하지 않기로 했다.

가게에서 AI 점원이나 주문 에이전트를 들일 때도 같은 순서로 확인하면 된다. 어떤 모델인지 확인하고, 결제 주소를 AI가 임의로 바꿀 수 있는지 확인하고, 외부 글을 읽는다면 그 글이 AI의 행동을 바꾸지 못하도록 막았는지 확인해야 한다.

결국 결제하는 AI의 안전성은 AI 모델 하나로 결정되지 않는다. AI가 읽는 정보와 실행할 수 있는 권한, 결제를 확인하는 장치가 함께 갖춰져 있는지가 중요하다.

같이 읽을 글

• 고객 대신 결제하는 AI, 진짜인지 가게는 어떻게 알까?
• 검색하는 AI는 가짜 글에 얼마나 속을까?
• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
• 우리 가게 홈페이지에도 AI 에이전트를 넣어야 할까?

자료 출처

• Protocol-Level Attacks on Agentic Commerce Platforms: A Cross-Platform Taxonomy, AIP-Bench, and Unified Defense(Louck, 아리엘대, 2026년 7월 arXiv 제출, 결함 33개·모델 8종 1,440번 시험)
• When AI Meets the Web: Prompt Injection Risks in Third-Party AI Chatbot Plugins(IEEE S&P 2026 채택, 챗봇 플러그인 17종·웹사이트 1만 곳 이상)
• Agent Payments Protocol (AP2) 공식 저장소(구글)
• Zero-Trust Runtime Verification for Agentic Payment Protocols(Lan 등, 2026년 2월 arXiv, AP2 재사용 공격 방어)
• OpenAI says prompt injection may never be 'solved' for browser agents like Atlas(CyberScoop)
• Continuously hardening ChatGPT Atlas against prompt injection attacks(오픈AI 공식 블로그)