AI가 고객 대신 답한 결과를 믿어도 될까?

신메뉴와 가격을 정할 때 AI 응답을 어디까지 써야 하는지 살펴본다

AI가 고객 대신 답한 결과는 무조건 믿을 수도, 무조건 버릴 수도 없다. 미국 성인 3,063명을 대상으로 한 연구에서는 질문 108개 가운데 25.9%가 사람 응답과 잘 맞지 않았지만, 질문을 먼저 거르자 4.3%로 줄었다. 신메뉴 이름처럼 가벼운 선택에는 써볼 수 있지만, 가격이나 실제 고객 행동은 AI 응답만으로 정하면 안 된다.

AI 가상 응답은 질문마다 믿을 수 있는 정도가 다르니, 먼저 어떤 질문인지 가려야 한다.

AI가 고객 대신 답한다는 게 무슨 뜻인가?

AI가 고객 대신 답한다는 말에는 방법이 세 가지 있다. 사람 자료 없이 AI에게 바로 묻는 방식, 실제 설문으로 고객층을 나눈 뒤 가상 인물을 만들어 묻는 방식, 한 사람의 답을 많이 모아 그 사람을 흉내 내는 가상 인물을 만드는 방식이다.

종류	무엇으로 만드나	준비	연구가 본 쓸모	가게에 맞춰 보면
① 근거 없는 AI 응답	AI만, 사람 자료 0건	가장 적음	지금 감으로 정하는 결정, 조사 초기 단계, 정성 조사	메뉴 이름 후보 추리기, 설명 문구 초안
② 고객층 가상 인물	고객층을 나눈 실제 설문 결과	고객층 조사가 먼저 필요	고객층별 문구 비교, 결과 설명	「직장인 점심 고객」「주말 가족 고객」에게 문구 반응 묻기
③ 개인 가상 인물	응답자 한 명당 많은 답	가장 많음	개인부터 전체까지 어느 단위로도 묶을 수 있음	동네 가게에서는 자료가 모자라 만들기 어려움

동네 가게가 실제로 쓰기 쉬운 것은 첫 번째 방식이다. 고객 자료가 있다면 두 번째 방식까지 생각할 수 있지만, 개인별 자료를 많이 모아 만드는 세 번째 방식은 동네 가게에서 준비하기 어렵다.

AI 응답이 90% 정확하다면 믿어도 되나?

여기서 먼저 확인할 것이 있다. 「정확도 90%」라는 숫자만 보고 고객을 잘 이해한다고 생각하면 안 된다.

연구에서는 사람들의 평균적인 답을 AI가 얼마나 비슷하게 맞히는지와, 특정 사람의 답을 얼마나 맞히는지를 구분했다. 평균을 맞히는 일은 상대적으로 쉽지만, 한 사람의 답을 다른 사람보다 높거나 낮게 맞히는 일은 어렵다.

특히 1~7점처럼 정해진 점수 중 하나를 고르는 질문에서는 가운데 점수만 계속 줘도 약 0.75가 나올 수 있다. 실제로 고객 정보가 거의 없는 AI의 값이 0.734였고, 한 사람의 질문 500개 답을 모두 넣은 가상 인물도 0.748이었다.

보고된 숫자	실제로 잰 것	같이 봐야 할 숫자
상관 0.95	도덕 상황 464개에 대한 사람 평균 vs AI	평균을 맞힌 것이지 개인을 맞힌 것이 아니다
정확도 0.748	한 사람당 500개 질문 답을 다 준 가상 인물	개인 정보 없이 0.734, 인구 항목 14개만 주면 0.746, 무작위로 찍으면 0.629
「상대 정확도 88%」	처음 보는 질문 정확도 72%를 사람의 재응답 일관성으로 나눈 값	나누기 전 값은 72%
「82.6%」	1,000명 넘는 사람과 2시간씩 면접한 뒤 만든 AI, 원래 정확도 65.7% ÷ 2주 뒤 본인 일관성 79.5%	인구 항목만 준 AI도 같은 방식으로 74%
상관 0.85	실험 70개의 효과 크기 예측	예측값이 실제 효과의 약 2배, 같은 실험 안에서 조건을 비교하면 0.39

따라서 업체에서 「AI 응답 정확도 90%」라고 말한다면 무엇을 기준으로 잰 숫자인지 먼저 봐야 한다. 평균을 맞힌 것인지, 고객 한 명 한 명의 답을 맞힌 것인지에 따라 의미가 다르다.

그럼 신메뉴 이름은 AI에게 물어봐도 되나?

신메뉴 이름처럼 여러 후보 가운데 반응이 나은 것을 추리는 일은 AI 응답을 써볼 수 있다. 국내 비교 실험에서도 신제품 콘셉트와 이름 평가에서는 사람과 AI의 차이가 비교적 작았다.

반대로 「우리 가게를 아는가」처럼 브랜드 인지도를 묻는 질문은 다르다. 국내 비교 실험에서는 브랜드 인지도와 실제 소비 행동에서 사람과 AI 사이에 의미 있는 차이가 났다.

질문 유형	사람 vs AI	가게에 맞춰 보면
의향(새 콘셉트·이름 평가)	차이가 비교적 작음	신메뉴 이름 후보 3~5개 추리기
인식(중요도·만족도)	발표 자료에 세부 수치 없음	실제 고객 응답으로 확인
브랜드 인지·상기	의미 있는 차이	「우리 가게를 아는가」는 AI가 답할 수 없음
소비 행동	의미 있는 차이	「몇 번 오는가」「얼마 쓰는가」는 영수증과 예약 기록으로

실제 고객이 가게를 아는지, 얼마나 자주 오는지, 얼마를 쓰는지는 AI가 대신 정할 일이 아니다. 이런 질문에는 실제 고객 응답이나 영수증, 예약 기록처럼 실제 가게에서 나온 자료가 더 직접적인 근거가 된다.

신메뉴 가격도 AI에게 물어봐도 되나?

가격은 더 조심해야 한다. 하버드 경영대 연구에서는 AI에게 치약과 노트북의 기능을 설명하고 「얼마까지 더 내겠느냐」고 물었는데, 일부 결과가 사람 조사와 크게 달랐다.

치약의 불소 기능에 더 낼 돈은 AI가 사람보다 3배 높게 답했다. 오이 맛과 팬케이크 맛에 대한 선호는 좋다·싫다의 방향이 사람 조사와 반대로 나온 경우도 있었다.

질문	결과	조건
불소 기능에 더 낼 돈	AI가 사람보다 3배 높게 답함	사람 자료 없이 그냥 물음
새 맛(오이·팬케이크) 선호	좋다·싫다 방향이 반대	사람 자료 없이 그냥 물음
같은 새 맛	사람과 같은 방향으로 바뀜	기존 치약 설문 자료로 AI를 추가 학습시킨 뒤
노트북 내장 프로젝터	크게 부풀렸던 값이 사람 쪽으로 가까워짐	노트북 설문 자료로 추가 학습시킨 뒤
노트북 자료로 태블릿 예측	맞지 않음	다른 상품군으로 옮김
고객층별 차이	잘 살리지 못함	추가 학습 뒤에도 마찬가지

같은 상품군의 실제 설문 자료가 있으면 결과가 사람 쪽으로 가까워진 경우도 있었다. 하지만 노트북 자료로 태블릿을 예측하는 것처럼 상품군을 바꾸면 맞지 않았고, AI에게 같은 질문을 여러 번 물어 답을 많이 모으는 것만으로도 문제를 해결할 수 없다.

AI에게 100번 물으면 100개의 응답이 생기고, 1,000번 물으면 1,000개의 응답이 생긴다. 이 숫자를 일반 설문처럼 계산하면 응답 횟수가 많아질수록 오차가 작아져 잘못된 값도 더 정확해 보일 수 있다.

AI에게 무엇을 맡기고 무엇을 직접 물어야 하나?

가장 간단한 기준은 이미 알고 있는 것을 정리할 때 AI를 쓰고, 아직 모르는 것을 확인할 때 고객에게 묻는 것이다. 연구에서도 이미 끝낸 설문에서 빠진 질문을 가상 인물에게 추가로 물어보는 방법을 유망하게 봤지만, 그 경우에도 어떤 질문을 믿을 수 있는지 먼저 걸러야 했다.

연구에서는 가상 인물이 원래 설문 답으로 얼마나 설명되는지를 보고, 설명력인 R²가 0.7을 넘는 질문만 쓰는 방법을 제시했다. 동네 가게가 그대로 적용하기는 어렵지만, 원리는 단순하다.

AI가 내 고객에 대해 이미 알고 있는 자료에서 답이 나올 만한 질문은 AI에게 맡길 수 있다. 반대로 가격, 실제 방문 횟수, 객단가, 브랜드 인지도처럼 가게의 현재 고객과 직접 연결된 질문은 실제 자료로 확인하는 편이 맞다.

항목	거르기 전	0.7 넘는 질문만
질문 수·표본	태도 질문 108개, 미국 전국 대표 표본 3,063명	같음
사람-가상 인물 개인별 상관(평균)	기준값	15% 올라감
잘 맞지 않는 질문 비율	25.9%	4.3%
다른 거르기 방법	문장 유사도는 같은 방향이지만 더 약함, 경험 많은 조사자 판단도 비슷하게 쓸 만했지만 검증한 질문 수가 더 적음

그래서 처음 AI를 쓰는 가게라면 감으로 정하던 일을 먼저 보완하는 것이 좋다. 신메뉴 이름 후보를 줄이거나 메뉴 설명 문구를 만드는 일은 AI가 도울 수 있지만, 가격을 최종 결정하거나 고객 행동을 AI 응답만으로 판단하는 것은 다른 문제다.

결정	AI 응답	이유(숫자)
신메뉴 이름 후보 추리기	써도 됨	콘셉트·이름 평가는 사람과 차이가 작음(약 100만 건 비교)
메뉴 설명 문구 초안	써도 됨	감으로 정하던 결정을 보완(연구의 ① 종류)
신메뉴 가격	참고만	지불 의향을 3배 부풀리거나 방향이 반대로 나온 사례
우리 가게 인지도	쓰면 안 됨	브랜드 인지는 사람과 의미 있는 차이
단골 방문 횟수·객단가	쓰면 안 됨	소비 행동은 의미 있는 차이, 실제 기록이 있음
AI 응답 「정확도 90%」 문구	무엇을 쟀는지 확인	정보 없이도 0.734, 가운데 점수만 줘도 약 0.75

AI 응답은 왜 질문마다 다르게 봐야 하나?

AI 가상 응답의 가장 큰 문제는 평균 숫자 하나로 전체 품질을 설명하기 어렵다는 점이다. 가상 인물은 실제 사람보다 답이 좁은 범위에 몰릴 수 있고, 학력과 소득이 높거나 정치 성향이 중간인 사람일수록 더 잘 맞는 경향도 연구에서 확인됐다.

널리 알려진 설문 문항은 AI가 이미 학습했을 가능성도 있다. 그래서 기존 질문에서는 점수가 높아도 새로운 질문에서는 낮아질 수 있다.

국내 실험에서도 이런 차이가 나타났다. 마크로밀 엠브레인은 엔비디아의 한국형 가상 인물 자료로 AI 응답 약 100만 건을 만들어 실제 고객 응답과 비교했는데, 신제품 콘셉트와 이름 평가와 달리 브랜드 인지도와 소비 행동에서는 의미 있는 차이가 있었다.

아직 국내 동네 가게에서 같은 결과가 나온다고 단정할 수는 없다. 미국 연구는 미국 전국 대표 표본 3,063명의 태도 질문 108개를 대상으로 했고, 가격 실험은 치약과 노트북을 대상으로 주로 GPT-3.5 Turbo를 사용했기 때문이다.

따라서 「AI가 고객 대신 답해준다」는 말보다 중요한 것은 「어떤 질문에 대한 답인가」다. AI 응답을 고객 조사와 똑같이 취급하지 말고, 질문별로 믿을 수 있는 범위를 따로 정해야 한다.

요점 ① 미국 성인 3,063명, 태도 질문 108개에서 잘 맞지 않는 질문은 25.9%였고, 질문을 거르자 4.3%로 줄었다. ② 고객 정보가 거의 없는 AI도 0.734가 나와 「정확도 75%」만으로 고객을 잘 안다고 판단할 수 없다. ③ 가격 질문에서는 사람보다 3배 높게 답하거나 선호 방향을 반대로 낸 사례가 있어 가격 결정은 실제 고객 자료로 확인해야 한다. ④ 신제품 콘셉트·이름 평가는 사람과 차이가 비교적 작았지만, 브랜드 인지도와 소비 행동에서는 의미 있는 차이가 있었다.

같이 읽을 글

자료 출처

작성일 2026년 10월 1일

#측정 #합성 데이터 #가상 응답자 #고객 설문 #신메뉴 #가격 조사 #디지털 트윈

← 칼럼 목록