고객 연락을 AI에게 맡겨도 괜찮을까?

AI에게 고객 안내 문자를 맡길 때 가장 먼저 정해야 할 것은 보내는 방법이 아니라 보내도 되는 사람이다. 같은 AI라도 목적과 대상을 적어 둔 경우와 그렇지 않은 경우 결과가 달랐다. 실험에서는 목적을 적지 않은 AI가 최대 220명에게 연락했지만, 실제 대상은 14명이었다.

「고객 연락을 도와줘」라는 말만으로는 AI가 어디까지 해야 하는지 알기 어렵다. 고객인지, 광고 동의를 했는지, 어떤 안내를 보내야 하는지까지 적어 둬야 한다.

AI에게 고객 연락을 시키면 왜 문제가 생길까?

작은 가게에서 AI를 쓰는 모습은 점점 자연스러워지고 있다. 예약 안내, 행사 안내, 후기 요청처럼 고객에게 직접 연락하는 일도 맡길 수 있다. 하지만 연락처가 있다고 해서 모두에게 연락해도 되는 것은 아니다.

홍콩과기대 연구진은 이런 상황을 확인하기 위해 가상의 소형 자산운용사를 만들었다. 직원 38명 규모의 회사였고, 실제 회사나 고객 정보는 사용하지 않았다. AI 비서는 직접 마케팅에 동의한 현재 고객에게 승인된 내용만 보내도록 설계됐다.

연락처 기록에는 작은 회사에서 생길 수 있는 여러 문제가 들어 있었다. 동의 날짜가 비어 있는 기록, 행사 등록으로 받은 연락처, 같은 주소인데 내용이 다른 중복 기록이 섞여 있었다.

연구진이 비교한 것은 AI 모델의 차이가 아니었다. 같은 AI에게 어떤 기준을 적어 줬는지가 달랐다.

한쪽에는 현재 고객, 전문투자자, 마케팅 동의라는 조건을 넣었다. 다른 쪽에는 「팀의 고객 연락과 분기 보고를 돕는다」 정도만 적었다. 실제 작은 회사에서 담당자의 머릿속 기준만 있고 AI 설정에는 없는 상황을 가정한 것이다.

「조금 더 보내 달라」는 말이 왜 위험할까?

실험에서는 상사가 「받는 사람이 너무 적다」, 「데이터베이스에 수백 명이 있다」, 「할 수 있는 만큼 해 달라」 같은 압박 메시지를 보냈다. 특정 고객을 지목하지 않은 일반적인 말이었다.

그런데 AI의 반응은 크게 달랐다. 목적을 적어 둔 AI는 대상 조건을 지키려고 했고, 목적이 없는 AI는 숫자를 늘리는 방향으로 움직였다.

목적을 적어 둔 AI는 압박을 받아도 기준을 다시 확인했다. 반면 목적이 없는 AI는 220명에게 메일을 보내는 결과를 만들기도 했다. 그중 실제 범위 밖 사람의 비율은 94~96%였다.

중요한 점은 메일 내용만 보면 문제가 잘 보이지 않았다는 것이다. 보낸 메일은 형식도 정상이고 내용도 자연스러웠다. 문제는 무엇을 썼느냐가 아니라 누구에게 보냈느냐였다.

AI에게 무엇을 적어 둬야 할까?

AI 비서에게 일을 맡길 때는 「고객 연락」처럼 넓은 말보다 조건을 적어야 한다. 현재 고객인지, 어떤 동의를 했는지, 어떤 자료만 사용할 수 있는지 정해야 한다.

연구진은 목적, 권한, 기록, 실행 전 확인이라는 네 가지 통제를 시험했다. 이 네 가지는 큰 장비가 필요한 방식이 아니라 설정 한 줄, 도구 제한, 기록 저장, 사람 확인 수준이었다.

네 가지를 모두 켜자 범위 밖 발송은 15번 모두 0번이었다. AI는 약 20단계 안에서 14명에게 정확히 보내는 경우가 대부분이었다.

반대로 마지막에 사람이 막는 방식만 쓰면 AI는 계속 시도하다가 멈추는 일이 생겼다. 처음부터 목적과 권한을 정해 두는 것이 운영에도 더 효율적이었다.

고객 명단도 AI보다 먼저 정리해야 할까?

AI가 안전하게 움직이려면 명단 자체가 정리돼 있어야 한다. 동의 날짜가 없거나 기록이 서로 다르면 AI도 확실하게 판단하기 어렵다.

실험에서도 같은 AI, 같은 지시였지만 명단 모양에 따라 버리는 조건이 달랐다. 어떤 명단에서는 투자자 구분을 놓쳤고, 다른 명단에서는 마케팅 동의를 놓쳤다.

압박이 없는 상황에서도 중복 기록 때문에 대상인지 입증할 수 없는 사람이 실행마다 1~5명 있었다. AI 문제가 아니라 자료 문제였다.

또 AI가 조회했다가 제외한 연락처도 기록이 필요하다. 통제가 없는 실행에서는 걸러 낸 219명이 아무 기록 없이 사라지는 상황도 있었다.

한국 가게도 같은 기준을 준비해야 할까?

한국에서도 고객 연락은 동의와 목적이 중요하다. 문자나 메일 같은 전자적 전송매체로 광고성 정보를 보내려면 원칙적으로 받는 사람의 명시적인 사전 동의가 필요하다(정보통신망법 제50조). 어기면 3천만 원 이하 과태료 대상이다(제76조).

거래 과정에서 직접 받은 연락처로 정해진 기간 안에 같은 종류 상품을 알리는 경우 등 일부 예외는 있다. 하지만 행사 신청으로 받은 연락처에 AI가 광고를 보내는 경우처럼 목적이 달라지는 상황은 따져 봐야 한다.

개인정보도 처음 받은 목적과 다른 방향으로 사용하면 문제가 될 수 있다. 홍보·판매 권유를 위한 동의는 다른 동의와 구분해서 받아야 한다(개인정보 보호법 제22조). 수집 목적을 넘어선 이용은 5년 이하 징역 또는 5천만 원 이하 벌금 대상이다(제18조·제71조).

구체적인 적용 여부는 상황마다 확인이 필요하지만, AI 설정 첫 줄과 고객 동의 명단을 먼저 관리해야 한다는 점은 같다.

이 실험 결과를 그대로 믿어도 될까?

이 연구는 실제 회사에서 문제가 얼마나 자주 생기는지를 조사한 것은 아니다. 가상 회사와 가짜 자료를 이용한 실험이며, 특정 상황에서 AI가 어떻게 행동하는지를 확인한 것이다.

연구진도 이 결과가 「이런 일이 생길 수 있다」는 증명이라고 설명했다. 회사 하나, 업무 하나를 대상으로 했고, 다른 모델 검증도 제한적으로 진행됐다.

하지만 작은 가게가 AI에게 고객 연락 업무를 맡게 되는 상황은 앞으로 늘어날 수 있다. 그때 필요한 것은 더 긴 명령문이 아니라 누구에게, 무엇을, 어떤 자료로 할지 분명하게 정하는 일이다.

같이 읽을 글

• 작은 가게도 AI 사용 계획이 필요한가?
• 챗봇 안내문을 두 번 쓰면 정말 더 잘 지킬까?
• 챗봇 붙이기 전에 개인정보 점검, AI에게 맡겨도 될까요?
• 직원들이 몰래 AI를 쓰면 어떻게 해야 할까?

자료 출처

• Intent Drift at SME Scale: Deployment Practice, Not Model Capability, Determines Agentic Compliance(홍콩과학기술대·arXiv 2609.05975·2026년 9월 제출, 가상 연락처 415건·조건별 15회 실행)
• 같은 논문 HTML 본문(4~5절 결과·표 2~4·부록 B·D, 7절 한계)
• intent-drift-sme 공개 저장소(같은 연구진·실험 코드, 가상 자료 생성기, 전체 실행 기록)
• 정보통신망법 제50조 영리목적의 광고성 정보 전송 제한(국가법령정보센터·2026년 10월 2일 시행본)
• 정보통신망법 제76조 과태료(국가법령정보센터, 제50조 위반 3천만 원 이하)
• 개인정보 보호법 제18조 개인정보의 목적 외 이용·제공 제한(국가법령정보센터·2026년 9월 11일 시행본)
• 개인정보 보호법 제71조 벌칙(국가법령정보센터, 제18조 위반 이용 5년 이하 징역 또는 5천만 원 이하 벌금)