# 가상 고객에게 홈페이지를 맡겨도 될까?

_가상 인물 83억 개로 홈페이지와 챗봇을 시험할 수 있지만, 실제 고객을 대신할 수는 없다._

> 1,290개 항목으로 만든 가상 인물 83억 개를 시험한 연구에서 시킨 행동을 따른 비율은 91.5%였다. 하지만 실제 고객과의 비교는 별개다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/virtual-customers-test-website-91-percent
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-01

가상 고객은 홈페이지에서 고객이 어디서 막히는지 찾는 데는 쓸 만하다. 하지만 실제 고객이 몇 명이나 구매할지를 맞히는 도구로 쓰기에는 아직 부족하다. 실제 사람과 비교한 다른 연구에서는 53%의 과제에서 가상 결과와 실제 결과가 달랐다.

가상 고객은 문제를 찾는 시험 도구이지, 실제 고객을 대신하는 도구는 아니다.

## 가상 고객 83억 명은 어떻게 만든 건가?

연구진은 사람을 1,290개 항목으로 나눠 기록했다. 나이·지역·언어 같은 배경부터 성격·가치관, 할 줄 아는 일, 평소 습관, 취미·건강 같은 생활까지 넣었다.

항목끼리 어긋나지 않도록 순서를 정해 뽑았다. 예를 들어 나이를 먼저 정한 뒤 학력을 정하고, 모국어가 영어인 사람에게는 영어 실력 없음이 나오지 않게 막았다. 이렇게 만든 기록이 83억 개다.

연구용으로 공개한 기록은 99만 9,847개다.

| 묶음 | 항목 수 | 예 |
|---|---|---|
| 배경 | 238 | 나이, 지역, 언어, 학력, 가족, 직업 |
| 심리 | 210 | 성격, 가치관, 동기, 위험을 견디는 정도 |
| 능력 | 331 | 전문 분야, 도구 다루는 능력 |
| 행동·이용 습관 | 124 | 선호, 습관, 새 기술을 받아들이는 정도 |
| 생활 | 387 | 취미, 미디어, 음식, 건강, 운동 |
| 합계 | 1,290 | 전체 기록 83억 개, 공개 99만 9,847개 |

그런데 공개된 가상 인물이 모두 통계로만 만들어진 것은 아니다. 약 59만 9,847개는 실제 사람의 흔적에서 뽑았고, 약 40만 개는 통계로 만들었다.

| 실제 흔적의 출처 | 기록 수 | 공개분 중 비중 |
|---|---|---|
| 위키백과 인물 소개 | 32만 3,438 | 약 32.3% |
| 스택오버플로 개발자 설문 | 11만 3,120 | 약 11.3% |
| 아마존 리뷰 이력 | 9만 7,915 | 약 9.8% |
| 미국 종합사회조사(GSS) | 6만 3,532 | 약 6.4% |
| PRISM 정렬 연구 참가자 | 1,487 | 약 0.15% |
| 연구진 자원자 설문 | 355 | 약 0.04% |
| 통계로 만든 기록 | 40만 | 약 40.0% |

여기서 사장님이 봐야 할 부분이 있다. 공개된 실제 흔적 가운데 약 32%가 위키백과 인물 소개에서 나왔고, 약 11%가 개발자 설문에서 나왔다.

연구진도 이 기록이 전체 인구를 대표하지 않는다고 밝혔다. 실제 인구 통계에 맞춰 조정한 항목은 나이·지역·성별·도시 거주 여부 4개뿐이다. 1,290개 항목 전체의 조합까지 실제 인구와 맞는다고 보장한 것은 아니다.

## 우리 가게 홈페이지도 시험할 수 있나?

시험할 수 있는 곳은 설문, AI 챗봇, 웹사이트, 앱이다. 사장님에게 가장 가까운 것은 홈페이지에서 고객이 정보를 찾고 비교하고 고르는 과정이다.

하지만 연구에서 준비된 웹 과제는 1,010개 중 12개뿐이었다. 대부분은 설문과 챗봇에 집중돼 있었다.

| 시험하는 곳 | 준비된 과제 수 | 비중 | 사장님 쪽 예 |
|---|---|---|---|
| 설문 | 621 | 약 61.5% | 가격 인상 반응, 새 메뉴 반응 |
| AI 챗봇 | 371 | 약 36.7% | 상담봇이 틀렸을 때 고객이 이어 가는지 |
| 웹 | 12 | 약 1.2% | 홈페이지에서 비교하고 고르기 |
| 앱 | 6 | 약 0.6% | 예약 기능이나 설정 찾기 |
| 합계 | 1,010 | 25개 넘는 분야 | 실제로 돌린 과제는 8개 |

연구진은 모두 8개 과제에 대해 1만 8,189번 시험을 돌렸다. 가상 인물을 움직인 AI는 GPT 5.5, Claude Opus 4.8, Claude Haiku 4.5 세 가지다.

이 결과를 볼 때 홈페이지 시험이 연구의 중심이었다고 생각하면 안 된다. 홈페이지를 시험할 수 있다는 것과 홈페이지에서 실제 고객 행동을 정확히 예측한다는 것은 다른 이야기다.

## 91.5%라면 실제 고객과 비슷하다는 뜻인가?

그렇지는 않다. 연구진은 가상 인물에게 꼼꼼히 확인하거나 쉽게 포기하는 등의 행동 특성을 주고, 실제로 그 특성을 따르는지 시험했다.

400번의 시험에서 366번, 91.5%가 주어진 행동을 보이거나 보이지 말아야 할 때 제대로 참았다. 인물 기록 자체의 품질을 사람 6명이 100개 채점했을 때 평균은 5점 만점에 4.135점이었다.

| 검증 | 결과 | 해석 |
|---|---|---|
| 행동 특성 따르기(400번) | 366번 성공, 91.5% | 시킨 성격대로 연기는 잘한다 |
| 장소×특성 40칸 | 33칸이 양쪽 다 5번 중 4번 이상 성공 | 7칸은 약하다 |
| 설문·챗봇·웹 | 각각 10개 특성 중 9개 통과 | 화면이 단순하면 잘 따른다 |
| 앱 | 10개 특성 중 6개 통과 | 직접 조작이 많을수록 흔들린다 |
| 인물 기록 품질(사람 6명, 100개) | 평균 4.135/5 | 뽑아낸 정보는 대체로 맞다 |
| AI 채점자가 사람 점수와 1점 안에 든 비율 | GPT 5.5 79.2%, Claude Opus 4.8 93.8% | 채점하는 AI에 따라 차이가 14.6%p 난다 |

이 숫자가 의미하는 것은 가상 인물이 주어진 설정대로 행동하는 능력이다. 실제 고객과 같은 선택을 한다는 뜻은 아니다.

연구진도 중요한 결론을 실제 사람이나 중요한 결정에 적용하기 전에는 사람 대상 연구가 필요하다고 적었다. 실제 고객을 대신한다는 검증까지 끝난 것은 아니다.

## 실제 사람과 비교하면 얼마나 다른가?

다른 연구에서는 차이가 더 분명하게 나타났다. 실무에서 진행한 첫 클릭 시험 12건을 GPT로 다시 돌린 연구에서는 53%의 과제에서 가상 결과의 분포가 실제 사람과 통계적으로 크게 달랐다.

인물 설정을 붙이거나 단계별로 생각하게 해도 정확도는 거의 오르지 않았다. 연구진은 이런 방법이 결과를 더 그럴듯하게 만들 뿐이라고 설명했다.

스마트워치 화면을 놓고 실제 사용자 48명과 디자이너 21명의 의견을 가상 사용자와 비교한 2024년 연구에서는 겹친 정도가 35.7%에서 100%까지 달랐다. 사용자 집단과 문제 종류에 따라 차이가 컸다.

닐슨 노먼 그룹도 2025년 4월 사용자 조사에는 실제 사용자가 필요하다는 입장을 냈다.

| 연구 | 표본 | 가상과 실제의 차이 |
|---|---|---|
| 83억 인물 도구(하버드·MIT 등, 2026.8) | 행동 시험 400번 | 시킨 행동 따르기 91.5%, 실제 사람과는 비교 안 함 |
| 첫 클릭 시험 재현(2026.5) | 12건, 참가자 3,431명 | 53% 과제에서 분포가 다름 |
| 스마트워치 사용성(CHI 2024) | 사용자 48명, 디자이너 21명 | 겹침 35.7~100% |
| 닐슨 노먼 그룹(2025.4) | 자체 연구 3건 비교 | 실제 사용자 필요 |

따라서 가상 고객의 결과가 그럴듯하게 보인다는 이유만으로 실제 고객의 반응이라고 받아들이기는 어렵다. 특히 구매율이나 이탈률처럼 매출과 직접 연결되는 숫자는 더 조심해야 한다.

## 그럼 동네 가게는 어디까지 써야 하나?

가장 현실적인 쓰임은 홈페이지의 막히는 곳을 찾는 것이다. 예약 버튼이나 가격표를 찾기 어려운지, 초보 고객이 어떤 문구에서 멈추는지, 상담봇이 틀린 답을 한 뒤에도 대화가 이어지는지를 미리 살펴볼 수 있다.

고친 뒤 다시 같은 조건으로 시험해 전후를 비교하는 것도 가능하다. 여러 AI에서 같은 문제가 반복되는지 확인하고, 나온 결과를 실제 고객 몇 명에게 다시 확인하는 방식이 맞다.

| 써도 되는 일 | 조건 | 쓰면 안 되는 일 |
|---|---|---|
| 예약 버튼·가격표를 못 찾는 곳 찾기 | 여러 AI로 돌려서 같은 문제가 반복될 때 | 「가격을 올려도 82%가 산다」 같은 숫자 믿기 |
| 노년층·초보 고객이 막히는 문구 찾기 | 결과를 실제 고객 몇 명에게 다시 확인 | 한국 동네 고객의 반응 예측(기록 출처가 주로 영미권) |
| 고치기 전후 비교 | 같은 인물·같은 과제로 반복 | AI 하나의 점수만 보고 결정하기 |
| 상담봇이 틀린 뒤 대화 흐름 점검 | 대화 기록을 직접 읽기 | 가상 고객의 칭찬을 그대로 믿기 |

반대로 가격을 올려도 몇 퍼센트의 고객이 계속 살 것이라는 식의 숫자를 가상 고객에게서 바로 얻으려 하면 안 된다. 한국 동네 고객의 반응을 예측하는 데도 한계가 있다. 공개된 사람 기록의 출처가 주로 영미권이기 때문이다.

국내에서도 생성형 AI를 쓰는 혼자 일하는 자영업자는 12.6%였다. 가상 고객 시험을 직접 돌릴 수 있는 가게는 그보다 더 적을 것으로 예상된다.

결국 순서는 간단하다. 가상 고객으로 홈페이지의 문제를 먼저 찾고, 실제 고객에게 그 문제가 맞는지 확인한다. 홈페이지를 고치는 최종 판단까지 가상 고객에게 맡기는 것은 아직 이르다.

요점 ① 1,290개 항목으로 가상 인물 83억 개를 만들었고, 공개 기록은 99만 9,847개다. ② 행동 특성을 따른 비율은 400번 중 366번, 91.5%였지만 실제 고객과 비교한 결과는 아니다. ③ 실제 사람과 비교한 첫 클릭 시험에서는 12건 중 53%의 과제에서 가상 결과와 실제 결과가 달랐다. ④ 홈페이지 과제는 1,010개 중 12개뿐이므로, 막히는 곳을 찾는 데 쓰고 고객 반응은 실제 사람에게 다시 확인해야 한다.

## 같이 읽을 글

 

- AI가 고객 대신 답한 결과를 믿어도 될까?

- AI가 만든 고객 질문으로 노출을 재도 괜찮을까?

- AI 홈페이지 점수는 어떤 AI가 매겼는지도 봐야 할까?

- 홈페이지를 못 읽으면 AI는 우리 가게를 어떻게 설명할까?
 

## 자료 출처

 

- MatrAIx: Simulating the World with 8.3 Billion Persona Agents(하버드·MIT 등, arXiv 2608.04205, 2026.8, 시험 1만 8,189번·검증 400번)

- MatrAIx 논문 HTML 전문(검증·부록 M 한계 포함)

- What Would GPT Click: Practical Effects of Human-AI Behavioral Misalignment and the Cost of Synthetic Participants in User Experience(arXiv 2605.18302, 2026.5, 첫 클릭 시험 12건·3,431명)

- SimUser: Generating Usability Feedback by Simulating Various Users Interacting with Mobile Applications(CHI 2024, 사용자 48명·디자이너 21명)

- Synthetic Users: AI "Participants"(닐슨 노먼 그룹, 2025.4)

- UXAgent: An LLM Agent-Based Usability Testing Framework for Web Design(CHI 2025 확장 초록)

- MatrAIx Persona 1M 공개 데이터 카드(Hugging Face, 99만 9,847개)

- MatrAIx-Persona-8B 코드(GitHub)