AI 가상 고객, 우리 가게에도 믿고 물어봐도 될까?
가상 고객은 전체적인 반응은 흉내 내지만, 실제 고객이 언제 무엇을 살지는 아직 어렵다.
AI 가상 고객에게 신상품이나 행사의 반응을 물어볼 수는 있다. 다만 실제 고객이 언제 무엇을 살지까지 맡기기에는 아직 한계가 크다. 80명·1,239일의 모의투자 실험에서 가장 높은 AI 정확도는 79.18%였고, 「어제 거래했으면 오늘도」라는 단순 규칙은 79.82%였다.
AI 가상 고객은 「얼마나 자주 움직이나」는 비슷하게 흉내 내지만, 「언제·무엇을」은 아직 실제 기록과 단순한 규칙을 이기지 못한다.
AI 가상 고객은 어떻게 시험했나?
중국 금융정보 회사 Hithink Research가 캐나다 맥마스터대·싱가포르 난양공대와 함께 진행한 연구다. 참가자 80명은 현금으로 바꿀 수 없는 가상 자금으로 미국 주식을 사고팔았고, 연구진은 거래 기록과 보유 종목, 최근 7거래일의 앱 사용 기록, 시장 정보를 모았다.
AI에는 매일 장이 끝난 시점까지 알 수 있었던 정보만 줬다. 그리고 다음 거래일에 거래할지, 사거나 팔지, 어떤 종목을 고를지를 맞히게 했다.
| 항목 | 숫자 |
|---|---|
| 참가자 | 80명 |
| 확인된 참가자-일(한 사람의 하루) | 1,239개 |
| 실제로 거래한 날 / 거래하지 않은 날 | 307일 / 932일 |
| 실제 거래 비율 | 24.78% |
| 거래한 날 중 사기만 / 팔기만 / 둘 다 | 109일 / 71일 / 127일 |
| 사고팔기를 같은 날 한 비율 | 41.4% |
| AI에게 준 최근 행동 기간 | 최근 7거래일 |
| 시험한 AI | 5종(제미나이 2종, GPT 3종) |
AI가 내일 거래할지는 잘 맞혔나?
전체 참가자-일 1,239개 가운데 실제로 거래한 날은 307일이었다. 거래하지 않은 날이 932일이어서, 무조건 「안 산다」고 답해도 정확도가 75.22% 나온다.
AI 가운데 정확도가 가장 높은 모델은 GPT-5.6-Sol의 79.18%였다. 하지만 실제 거래일을 잡아낸 비율은 34.85%였다. 반대로 Gemini-3-Flash는 실제 거래일의 76.55%를 잡아냈지만, 「거래한다」는 예측이 맞은 비율은 42.57%였다.
「어제 거래했으면 오늘도」라는 한 줄짜리 규칙은 정확도 79.82%, 균형 점수 71.45였다. 참가자별로 다시 비교해도 이 규칙보다 확실히 나은 AI는 없었다.
| 방식 | 정확도 | 균형 점수(macro-F1) | 실제 거래일 잡은 비율 | 「거래한다」 예측 적중률 |
|---|---|---|---|---|
| Gemini-3-Flash | 68.60% | 65.34 | 76.55% | 42.57% |
| Gemini-3.5-Flash | 75.06% | 68.94 | 61.89% | 49.74% |
| GPT-4o-mini | 76.11% | 69.32 | 58.63% | 51.58% |
| GPT-5.6-Luna | 78.05% | 71.23 | 59.28% | 55.32% |
| GPT-5.6-Sol | 79.18% | 66.24 | 34.85% | 64.85% |
| 무조건 「안 산다」 | 75.22% | 42.93 | 0.00% | – |
| 「어제 거래했으면 오늘도」 규칙 | 79.82% | 71.45 | 51.79% | 60.92% |
GPT-5.6-Luna는 전체 거래 비율을 실제와 거의 같게 맞혔다. 그런데 전체 비율이 비슷하다고 해서 실제 고객이 움직인 날짜까지 맞힌 것은 아니다. 가게에서 가상 고객 100명의 구매 의향이 실제와 비슷하게 나와도, 누가 언제 사는지는 다를 수 있다는 뜻이다.
산다는 건 맞혀도 무엇을 사는지는 다를까?
단계가 내려갈수록 어려워졌다. 사기·팔기·둘 다 가운데 하나를 고르는 문제에서 가장 좋은 AI의 적중률은 307일 중 129일, 42.02%였다. 늘 「둘 다」라고 답했을 때의 41.37%와 큰 차이가 없었다.
특히 「팔기만 한 날」은 어려웠다. 다섯 모델이 이런 날을 잡아낸 비율은 4.23~8.45%였고, 「둘 다 한 날」은 41.73~67.72%였다.
| 단계 | 가장 좋은 결과 | 비교 기준 |
|---|---|---|
| 거래 여부 | 79.18%(AI) | 단순 규칙 79.82% |
| 사기· | 42.02%(129/307일) | 늘 「둘 다」 41.37% |
| 「팔기만 한 날」 잡아낸 비율 | 4.23~8.45% | 「둘 다 한 날」 41.73~67.72% |
| 살 종목 상위 5개 적중 | 40.7% | 후보에 정답이 든 날 73.31% |
| 팔 종목 상위 5개 적중 | 42.9% | 후보에 정답이 든 날 91.92% |
종목을 고르는 일은 더 어려웠다. AI가 고른 상위 5개 안에 실제 거래 종목이 하나라도 들어간 비율은 살 때 가장 좋은 경우 40.7%, 팔 때 42.9%였다.
| 모델 | 살 종목 상위 5개 적중 | 팔 종목 상위 5개 적중 |
|---|---|---|
| Gemini-3-Flash | 40.7% | 42.9% |
| Gemini-3.5-Flash | 39.0% | 42.9% |
| GPT-4o-mini | 37.7% | 27.8% |
| GPT-5.6-Luna | 35.2% | 42.9% |
| GPT-5.6-Sol | 22.9% | 32.3% |
여기에는 가상 고객에게 보여준 후보 목록의 한계도 있었다. 실제로 산 종목이 후보 목록에 들어 있던 날은 매수일의 73.31%뿐이었다. 매수일 236일 가운데 116일은 실제로 산 종목 중 일부가 후보 목록에 아예 없었다.
가게의 신상품 조사도 마찬가지다. 가상 고객에게 보여준 상품 안에서만 답하게 하면, 처음 보는 상품을 실제로 고르는 고객의 행동은 놓칠 수 있다.
가상 고객은 무엇을 보고 판단했나?
연구진은 GPT-5.6-Luna에게 정보를 하나씩 빼고 다시 물었다. 최근 거래 기록을 빼자 거래 여부 정확도가 23.49%포인트 떨어졌다. 보유 종목, 최근 7일 앱 사용 기록, 시장 정보, 장기 성향 정보를 뺐을 때는 하락 폭이 0.23~1.40%포인트였다.
거래 여부 판단은 최근 거래 기록에 크게 기대고 있었다. 반면 종목 예측은 정보 하나를 빼는 것만으로도 예측 목록이 56.8~76.6% 바뀌었다.
| 뺀 정보 | 정확도 변화 | 거래 여부 예측이 바뀐 비율 | 종목 목록이 바뀐 비율 |
|---|---|---|---|
| 최근 거래 기록 | −23.49%포인트 | 36.5% | 76.6% |
| 보유 종목· | −1.40%포인트 | 7.0% | 58.6% |
| 최근 7일 앱 사용 기록 | −0.23%포인트 | 4.4% | 56.8% |
| 시장 정보 | −1.16%포인트 | 4.0% | 57.7% |
| 장기 성향 정보 | −0.23%포인트 | 6.7% | 60.4% |
실제 참가자 기록에서는 특정 종목을 집중해서 찾아본 뒤 곧 그 종목을 거래하는 경향도 보였다. 다만 연구진은 이 관계만으로 「많이 찾아보면 사게 된다」고 볼 근거는 부족하다고 했다.
가상 고객에게 신상품 반응을 물어봐도 될까?
큰 흐름을 보는 용도로는 활용할 수 있다. 업계 조사에서도 합성 응답을 시장조사에 활용하려는 움직임이 확인됐고, 스탠퍼드대 등 연구에서는 1,052명의 인터뷰 기록으로 만든 가상 인물이 사회조사 문항에서 본인의 재응답과 85% 수준으로 일치했다.
하지만 이런 결과와 매일 달라지는 행동 예측은 구분해야 한다. 한 시점의 의견을 묻는 조사와 실제로 다음 날 무엇을 할지를 맞히는 일은 같은 문제가 아니다.
| 조사· | 대상 | 핵심 숫자 |
|---|---|---|
| 퀄트릭스 시장조사 동향(2024.10 발표) | 14개국 실무자 3,000여 명 | 「3년 안 절반 이상 합성 응답」 동의 71%· |
| 스탠퍼드대 등 가상 인물 연구(2024.11) | 1,052명· | 본인 재응답 대비 85% 수준 |
| 한국일보 보도(2026.7) | 국내 합성 소비자 업체 | 20여 개 기업· |
| Hithink Research 등 모의투자 실험(2026.9) | 80명· | 단순 규칙 79.82% > AI 최고 79.18% |
그래서 작은 가게에서는 「대략 몇 %가 관심을 보일까」처럼 큰 그림을 보는 질문과 「어떤 상품을 실제로 고를까」라는 질문을 나눠서 볼 필요가 있다. 후자는 가상 고객의 답만으로 결정하기보다 실제 고객에게 묻거나 작게 팔아 보고 확인하는 과정이 필요하다.
결국 내 가게 기록이 먼저다
「다음 주에 누가 다시 올까」처럼 실제 행동을 예측하려면 지금까지 쌓인 판매 기록이 중요한 근거가 된다. 이번 실험에서도 최근 거래 기록을 빼자 정확도가 23.49%포인트 떨어졌고, 최근 기록을 이용한 단순 규칙은 AI 5종보다 높은 정확도를 보였다.
가상 고객이 실제 고객을 대신하는 것으로 생각하면 위험하다. 가상 고객은 이미 주어진 정보 안에서 판단하기 때문에, 후보 밖의 상품이나 갑자기 달라진 상황을 제대로 반영하지 못할 수 있다.
AI사이트코리아도 우리 홈페이지가 AI 답에 나오는지 측정할 때 같은 원칙을 쓴다. 가상의 질문 결과는 참고로만 보고, 실제로 들어온 고객 기록과 맞춰 본다.
이번 실험도 한계가 있다. 참가자는 80명뿐이고 현금으로 바꿀 수 없는 가상 자금으로 미국 주식만 거래했다. 실제 거래가 있었던 날도 307일이고, 계좌 비교는 기록이 충분한 3명만 대상으로 했다.
정보를 빼 보는 실험도 GPT-5.6-Luna 한 모델로만 했다. 따라서 이 결과를 모든 업종과 모든 AI에 그대로 적용할 수는 없다. 다만 가상 고객의 답을 실제 고객의 행동과 같은 것으로 받아들이기에는 아직 확인해야 할 부분이 많다는 점은 분명하다.
요점 ① 80명·1,239일 실험에서 「어제 거래했으면 오늘도」 규칙은 79.82%, AI 최고 정확도는 79.18%였다. ② 사기·팔기·둘 다를 맞힌 최고 비율은 42.02%로, 늘 「둘 다」라고 한 경우의 41.37%와 거의 같았다. ③ 살 종목 상위 5개 적중률은 최고 40.7%, 팔 종목은 42.9%였고, 매수일 236일 중 116일은 실제 종목이 후보에 없었다. ④ 최근 거래 기록을 빼면 정확도가 23.49%포인트 떨어졌다. 가상 고객보다 내 가게의 실제 기록을 먼저 봐야 한다.
같이 읽을 글
자료 출처
- Are LLMs Good Financial User Simulators? Multi-view Investor Logic Alignment (MILA) (Hithink Research·맥마스터대·난양공대, arXiv 2609.15727, 2026.9 제출, 참가자 80명·1,239 참가자-일)
- AI to Drive Massive Changes to Market Research in 2025 (퀄트릭스, 2024.10 발표, 14개국 시장조사 실무자 3,000여 명)
- Researchers predict synthetic responses will dominate in coming years (Research Live, 퀄트릭스 조사 보도)
- Generative Agent Simulations of 1,000 People (스탠퍼드대·노스웨스턴대·워싱턴대·구글 딥마인드, arXiv 2411.10109, 2024.11, 1,052명)
- Simulating Human Behavior with AI Agents (스탠퍼드 HAI 정책 요약, 1,052명·2시간 인터뷰)
- 「AI가 사람 대신 응답한다」… 설문조사 시장에 확산되는 '합성 소비자' (한국일보, 2026.7.9)
작성일
← 칼럼 목록