우리 가게 상담, 작은 공개 AI에 맡겨도 될까?

우리 가게 상담을 작은 공개 AI에 맡기는 것은 가능하지만, 바로 고객 응대에 투입하는 것은 이르다. 실제 상담 업무를 시험한 연구에서 가장 높은 평균 통과율도 45.0%였고, 20B 미만 공개 모델 가운데 1위인 Qwen3.5-9B는 21.6%에 그쳤다. 예약 변경이나 환불처럼 고객의 일정과 돈이 걸린 업무라면 우리 가게의 규칙대로 처리하는지 먼저 확인해야 한다.

작은 공개 AI도 상담을 맡을 수 있을까?

공개 AI 모델은 직접 설치해 운영할 수 있다는 장점이 있다. 하지만 설치할 수 있다는 사실과 상담을 잘한다는 사실은 다르다. 고객의 말을 이해하는 것만으로는 부족하다. 본인 확인을 먼저 하고, 예약 정보를 확인하고, 필요한 도구를 사용한 뒤, 처리 결과를 정확하게 알려야 한다.

미국 상담 소프트웨어 회사 다이얼패드★ 연구진은 실제 고객 상담 기록 약 35만 건에서 업무 흐름을 뽑았다. 이를 바탕으로 여러 단계를 거치고 도구와 회사 규칙을 지켜야 하는 상담 500개를 만들어 AI 17종을 시험했다.

시험에는 계정 관리, 요금 문의, 환불, 기술 지원, 예약, 주문 처리 등이 포함됐다. 고객 역할도 다양하게 설정했다. 용건만 말하는 고객뿐 아니라 화가 났거나 요청이 모호한 고객도 있었다. 상담 AI에는 업무 설명서와 도구 목록만 제공했다. 추가 훈련 없이 실제 상담처럼 대응하게 한 것이다.

어떤 AI가 가장 잘했을까?

심사 AI 5개의 평균 통과율을 보면 GPT-5.4가 45.0%로 가장 높았다. 공개 모델 중에서는 Qwen3.5-9B가 21.6%로 앞섰다. 가장 작은 Qwen3-1.7B는 2.5%였다. 공개 모델도 상담에 활용할 가능성은 있지만, 시험 결과만 보면 복잡한 업무를 그대로 맡기기 어렵다.

특히 도구를 불렀다는 사실만으로 상담을 성공했다고 판단하면 안 된다. Ministral-8B는 필요한 도구를 사용했는지 등을 확인하는 규칙 검사에서 86.8%를 통과했다. 그러나 심사 AI 5개의 평균 통과율은 10.8%였다. 도구를 호출했더라도 업무를 잘못 처리하거나 필요한 절차를 놓칠 수 있다는 뜻이다.

모델이 클수록 더 잘할까?

꼭 그렇지는 않다. 공개 모델 중 Qwen3.5-9B는 21.6%를 통과했다. 반면 14B 모델인 Qwen3-14B는 14.4%, Ministral-14B는 13.2%였다. 매개변수 수가 많다고 상담 성능까지 높아지는 것은 아니다. 모델의 세대와 훈련 방식도 영향을 준다.

부록에서 시험한 Qwen3.5-27B의 통과율은 27.8%였다. GPT-5의 25.0%보다 높았지만 GPT-5.4의 45.0%에는 미치지 못했다. 따라서 모델 크기만 보고 비용과 성능을 판단하기보다 실제로 맡길 업무를 기준으로 시험해야 한다.

상담 AI를 고를 때 무엇을 확인해야 할까?

연구진은 상담 AI의 성능을 순서 지키기, 도구 사용, 규칙 지키기, 말하기, 해결 효율의 다섯 항목으로 나눠 평가했다. 여러 모델에서 특히 점수가 낮았던 항목은 순서 지키기와 해결 효율이었다. 말을 그럴듯하게 하는 것보다 업무 절차를 빠뜨리지 않고 효율적으로 해결하는 일이 어려웠다는 뜻이다.

규칙 지키기 점수는 해석할 때 주의해야 한다. 시험에 규칙 위반 요청이나 본인 확인 상황이 포함되지 않았다면 해당 항목에 높은 점수가 나올 수 있었다. 따라서 전체 점수만 보지 말고 우리 가게에서 실제로 생기는 상황을 넣어 평가해야 한다.

시험 결과를 얼마나 믿어도 될까?

AI가 AI를 평가해도 결과가 달라질 수 있다. GPT-5.4의 통과율은 가장 엄격한 심사 AI에서 33.8%, 가장 관대한 심사 AI에서 58.6%였다. 같은 모델인데도 24.8%포인트 차이가 났다. 상담 AI 업체가 성공률을 제시한다면 어떤 기준으로 평가했는지 함께 확인해야 한다.

이 연구에도 한계가 있다. 선택한 업종과 회사의 상담만 다뤘고, 업체와 업종 이름은 공개하지 않았다. 도구 응답도 실제 시스템이 아닌 가짜 응답이었다. 시험 상담 500개는 GPT-5.5가 대화를 무사히 만들어 낸 상황 중에서 골랐다. 사람의 평가와 비교하지 않았고, 한국어 상담이나 국내 업무도 시험하지 않았다. 다이얼패드★가 상담 AI를 판매하는 회사라는 점도 고려해야 한다.

다른 연구에서도 비슷한 문제가 나타났다. 2024년 미국 시에라★ 연구진의 고객 응대 시험에서는 당시 GPT-4o의 과제 성공률이 50%에 못 미쳤다. 소매 업무를 8번 반복해 모두 성공한 비율도 25% 미만이었다. 다만 서로 다른 연구의 결과를 직접 비교할 때는 시험 조건의 차이를 고려해야 한다.

우리 가게는 어떻게 시작해야 할까?

먼저 상담 업무마다 처리 순서와 금지 사항, 사람에게 넘겨야 하는 조건을 글로 정리해야 한다. 예약 변경이라면 본인 확인 전에는 예약 내용을 말하지 않고, 변경하기 전에 기존 예약을 고객과 확인하도록 정할 수 있다. 정확한 도착 시각을 약속하지 않고, 한 번에 두 가지까지만 질문하는 규칙도 둘 수 있다.

도구 오류가 발생하면 두 번까지만 다시 시도하고 사람에게 넘기도록 정할 수도 있다. 취소처럼 AI가 처리하도록 맡기지 않은 요청은 담당자에게 연결해야 한다. 이런 기준을 먼저 정해야 AI가 잘못 처리했는지 판단할 수 있다.

그다음 실제 상담 기록을 바탕으로 시험해야 한다. 고객의 요청이 모호하거나 규칙에 어긋나는 상황도 넣어야 한다. 도구를 호출했는지만 확인하지 말고, 업무를 올바르게 마쳤는지 사람이 직접 표본을 읽어 확인해야 한다. 공개 모델은 업무 하나를 정해 별도로 훈련하고 평가할 때 활용 가능성을 살펴볼 수 있다.

예약 변경이나 환불처럼 중요한 업무는 처음부터 전부 AI에 맡기지 않는 편이 안전하다. AI가 안내와 접수를 맡더라도 최종 처리 전에 사람이 확인하는 단계를 남겨야 한다. 고객에게 AI가 상담한다는 사실도 미리 알려야 한다. AI 기본법 제31조가 정한 사전 고지 의무다.

같이 읽을 글

• 우리 가게 챗봇도 15~27%씩 틀릴까?
• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
• 챗봇 안내문을 두 번 쓰면 정말 더 잘 지킬까?
• 가게 홈페이지 챗봇도 AI 기본법을 지켜야 할까?

자료 출처

• Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills(다이얼패드★ 연구진·arXiv 2610.14346·2026년 10월 제출, 실제 상담 기록 약 35만 건·시험 상담 500개·AI 17종)
• 같은 논문 HTML 본문 2판(표 1·2·3·5, 부록 A.6 예약 변경 업무 설명서)
• τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains(시에라★ 연구진·arXiv 2406.12045·2024년 6월, 도구·규칙이 있는 고객 응대 시험)
• Qwen3.5-9B 모델 카드(큐웬 팀·허깅페이스, 아파치 2.0 라이선스 공개 모델)
• What is the Model Context Protocol (MCP)?(MCP 공식 문서, AI와 외부 시스템을 잇는 공개 표준)
• 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(국가법령정보센터·2026년 1월 22일 시행, 제31조 인공지능 투명성 확보 의무)