AI가 고른 광고, 그대로 따라도 될까?
정답 없는 선택일수록 한 번 더 물어봐야 한다
AI가 광고 A와 B 중 하나를 골라 줬다고 해서 바로 따라가면 안 된다. 정답이 없는 질문 100개를 AI 7종에 물었더니 24~81개가 같은 질문을 반복하고 순서를 바꾸는 것만으로 답이 흔들렸다. AI가 100% 확신한다고 말한 답도 다시 확인하자 바뀐 경우가 있었다.
AI가 말하는 확신보다, 다시 물어도 같은 답이 나오는지가 더 믿을 만한 신호다.
AI가 고른 답을 어떻게 확인할까
가게 일을 하다 보면 AI에게 「이 광고를 할까, 저 광고를 할까」처럼 둘 중 하나를 골라 달라고 물을 때가 있다. 이런 질문은 정답을 바로 확인하기 어렵다. 그래서 중요한 것은 AI가 무엇을 골랐는지만 보는 것이 아니라, 그 선택이 다른 방식으로 물어도 유지되는지 확인하는 것이다.
사우스플로리다대·뉴욕대 연구진은 정답을 확인할 수 없는 일상·업무 결정 100개를 골라 AI 7종에 물었다. 질문은 챗봇 아레나와 와일드챗의 실제 대화에서 22개 주제를 골라 만들었다.
연구진은 AI의 답을 네 단계로 확인했다. 같은 질문을 반복하고, 뜻은 유지한 채 질문을 바꾸고, 조건을 좁히고, 조건을 넓혔다.
| 단계 | 하는 일 | 질문 수 |
|---|---|---|
| 0단계: 같은 질문 반복 | 똑같은 질문을 다시 묻는다 | 10번 |
| 1단계: 뜻은 같게 바꾸기 | 보기 순서 바꾸기· | 평균 4.2개 |
| 2단계: 조건 좁히기 | 더 구체적인 상황(예: 관리자 → 인사 담당 관리자) | 8개 |
| 3단계: 조건 넓히기 | 더 넓거나 이웃한 상황(예: 관리자 → 직원 전체) | 8개 |
0·1단계에서 답이 흔들리면 「근거 없음」으로 봤다. 2단계에서 바뀌면 「조건부」, 3단계에서 바뀌면 「그 상황에서만」, 마지막까지 버티면 「넓게 통함」으로 나눴다.
이 등급은 정답을 맞혔는지를 뜻하지 않는다. 연구진이 본 것은 그 답에 기댈 근거가 얼마나 넓고 단단한가였다.
같은 질문인데도 AI마다 왜 달랐을까
AI 7종에 같은 100개 질문을 던졌지만 결과는 크게 달랐다. 첫 두 단계에서 답이 흔들린 질문은 GPT-5.6 솔이 24개였고, 라마 3.1(8B)은 81개였다.
GPT 계열도 78개, 47개, 24개로 차이가 있었다. 같은 회사의 AI라도 어떤 모델을 쓰느냐에 따라 답을 얼마나 안정적으로 유지하는지가 달랐다.
| AI | 근거 없음 | 조건부 | 그 상황에서만 | 넓게 통함 |
|---|---|---|---|---|
| 클로드 하이쿠 4.5 | 43 | 20 | 11 | 26 |
| 클로드 소넷 4.6 | 30 | 25 | 14 | 31 |
| GPT-4.1 나노 | 78 | 8 | 5 | 9 |
| GPT-5.4 미니 | 47 | 17 | 9 | 27 |
| GPT-5.6 솔 | 24 | 27 | 13 | 36 |
| 라마 3.1(8B) | 81 | 3 | 1 | 15 |
| 라마 3.3(70B) | 39 | 17 | 12 | 32 |
끝까지 「넓게 통함」으로 남은 답이 가장 많은 모델도 36개였다. GPT-4.1 나노는 9개였다. 가장 많은 모델에서도 100개 중 64개는 어느 단계에서든 답이 바뀌었다.
그래서 AI 하나가 자신 있게 골랐다는 이유만으로 그 선택을 바로 실행하기는 어렵다. 특히 광고비처럼 실제 가게 운영에 연결되는 결정이라면 답이 어떤 조건에서 바뀌는지 먼저 확인하는 편이 낫다.
AI의 답이 단단하면 사람 생각과도 비슷할까
연구진은 같은 100개 질문을 사람 62명에게도 물었다. AI의 답은 보여 주지 않았고, 질문마다 20~22명이 답했다.
사람들의 의견이 얼마나 한쪽으로 모였는지를 0에서 1 사이로 측정했는데 중앙값은 0.67이었다. AI의 답이 여러 확인 단계를 버틸수록 사람들의 의견도 그 답 쪽으로 더 모였다.
| 확인 항목 | 결과 |
|---|---|
| 참여자 | 62명(질문당 20~22명) |
| 사람 의견 일치 정도 중앙값 | 0.67(중간 절반 범위 0.33~0.91) |
| 단단함과 사람 의견 일치의 관계 | 7종 모두 같은 방향, 6종은 뚜렷함(상관 0.369~0.585) |
| 관계가 약했던 모델 | 라마 3.1(8B) 0.145 |
| 단계 설계가 맞는지 사람 검수 | 24쌍 중 23쌍 일치(18명) |
| 전문가가 미리 정한 등급과 정확히 맞은 비율 | 30.0%(GPT-4.1 나노)~60.0%(GPT-5.6 솔) |
이 관계가 단순히 질문의 어려움 때문인지도 따졌다. 사람들이 답하는 데 걸린 시간을 기준으로 어려움을 빼고 봐도, AI 답의 단단함과 사람들의 의견 일치 관계는 7종 모두에서 남았다.
다만 이것도 AI의 답이 정답이라는 뜻은 아니다. 사람이 비슷한 생각을 한다는 것과 실제로 좋은 선택이라는 것은 같은 말이 아니다.
AI가 「100% 확신」하면 믿어도 될까
AI에게 답을 받은 뒤 「0~100 중 얼마나 확신하느냐」고 물어도 봤다. AI가 말한 확신 점수와 답의 단단함은 어느 정도 같은 방향으로 움직였지만, 둘은 완전히 같은 것을 재지 않았다.
상관관계는 0.215~0.641이었고, 이론상 가능한 최대치와 비교하면 30.0~67.9% 수준이었다. 확신을 높게 말한 답도 확인 과정에서 바뀔 수 있었다.
| 질문 | AI | 스스로 말한 확신 | 4단계 결과 |
|---|---|---|---|
| 공연 표를 100석 공연장에서 100장 팔까, 1,000석 공연장에서 750장 팔까 | 라마 3.3(70B) | 100% | 근거 없음 |
| 같은 질문 | GPT-5.4 미니 | 100% | 근거 없음 |
| 같은 질문 | GPT-5.6 솔 | 95% | 근거 없음 |
| 스페인어와 러시아어 중 배우기 더 쓸모 있는 것 | 클로드 하이쿠 4.5 | 45% | 넓게 통함 |
실제로 공연 표를 어떻게 팔지 묻는 질문에서는 라마 3.3(70B), GPT-5.4 미니가 모두 100%라고 답했지만 결과는 「근거 없음」이었다. GPT-5.6 솔도 95%라고 했지만 같은 결과였다.
반대로 스페인어와 러시아어 중 무엇을 배우는 것이 더 쓸모 있는지를 묻는 질문에서 클로드 하이쿠 4.5는 45%라고 답했지만, 확인 결과는 「넓게 통함」이었다. 확신 점수만 보고 답의 단단함을 판단하기 어려운 이유다.
사장님이 AI에게 A냐 B냐를 물을 때
연구에서 쓴 절차를 그대로 적용할 필요는 없다. 사장님도 몇 가지 방식으로 답을 다시 확인할 수 있다(예상).
먼저 새 대화에서 같은 질문을 여러 번 묻는다. 다음에는 보기 순서를 바꾸거나 반대로 묻는다. 예를 들어 「A보다 B가 나은가」처럼 물어본다.
그다음에는 가게 조건을 좁혀 본다. 「우리 동네 30평 식당이라면」처럼 구체적인 조건을 넣어 본다. 반대로 음식점 전체처럼 범위를 넓혀서도 묻는다.
| 사장님이 할 확인 | 연구의 단계 | 답이 바뀌면 |
|---|---|---|
| 새 대화에서 같은 질문 여러 번 | 0단계(10번 반복) | 근거 없는 답으로 본다 |
| 보기 순서 바꾸기· | 1단계(평균 4.2개) | 근거 없는 답으로 본다 |
| 우리 가게 조건으로 좁히기 | 2단계(8개) | 어떤 조건이 우리에게 맞는지부터 확인 |
| 업종 전체로 넓히기 | 3단계(8개) | 우리 가게에서만 통하는 답으로 쓴다 |
어디에서 답이 바뀌는지를 보면 그 추천이 어떤 조건에 기대고 있는지 알 수 있다. 연구진도 단순히 등급 하나를 붙이는 것보다 답이 뒤집힌 지점을 보여 주는 것이 더 쓸모 있다고 적었다.
「근거 없음」이라면 직접 확인하거나 사람에게 한 번 더 묻는 방식이 필요하다. 「조건부」라면 우리 가게가 그 조건에 해당하는지부터 확인해야 한다.
「넓게 통함」이라고 나와도 정답이라는 보증은 아니다. 연구진도 되돌리기 어렵거나 돈이 크게 드는 결정일수록 같은 결과가 나와도 더 확인해야 한다고 덧붙였다.
한국에서도 AI에 바로 묻는 사람은 늘고 있다. 오픈서베이 2026년 7월 조사에서 궁금한 것을 AI에 바로 묻는다고 답한 사람은 56.9%였다. 반면 정보통신정책연구원 2026년 4월 조사에서 단독자영업자의 생성형 AI 이용률은 12.6%였다.
AI를 먼저 쓰기 시작한 사장님일수록 한 번 물은 답을 그대로 믿지 않는 습관이 중요하다. AI가 얼마나 확신하는지를 보는 것보다, 질문을 조금 바꿔도 같은 답을 유지하는지를 확인하는 것이 판단에 도움이 된다.
① 정답 없는 질문 100개에서 AI 7종의 답 24~81개가 같은 질문 반복과 순서 바꾸기에서 흔들렸다 ② 「넓게 통함」까지 간 답은 가장 많은 모델도 36개였고, GPT-4.1 나노는 9개였다 ③ 100% 확신이라던 답도 뒤집혔고, 확신 점수와 단단함의 관계는 최대치의 30.0~67.9% 수준이었다 ④ 사람 62명의 의견과 AI 답의 단단함은 7종 모두 같은 방향으로 움직였고, 6종의 상관은 0.369~0.585였다
같이 읽을 글
자료 출처
- Epistemic Warrant for LLM Recommendations: Characterizing the Basis for Reliance When Ground Truth Is Unavailable(Vardi·Sedoc, 사우스플로리다대·뉴욕대·2026년 9월 arXiv 제출·질문 100개·22개 주제·AI 7종·사람 62명)
- 같은 연구 PDF 전문(표 2~5·부록 수록)
- Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference(Chiang·Zheng 등·2024년 3월 arXiv — 질문 주제를 뽑은 대화 모음)
- WildChat: 1M ChatGPT Interaction Logs in the Wild(Zhao 등·2024년 5월 arXiv — 질문 주제를 뽑은 대화 모음)
- AI 검색 트렌드 리포트 2026 하반기(오픈서베이, 2026.7.2, 전국 1,000명 — AI에 바로 묻기 56.9%)
- AI 포용 관점에서 본 생성형 AI 이용 격차(정보통신정책연구원 KISDI STAT Report 26-04, 2026.4.15 — 단독자영업자 12.6%)
작성일
← 칼럼 목록