# 챗GPT에게 그냥 묻는 것보다 순서를 정해 물어야 할까?

_800명 실험에서 순서가 보이는 화면은 그냥 묻는 채팅보다 준비 범위가 2.36점 넓었다._

> 하버드대 연구진이 800명에게 15분 협상 준비를 시켰다. AI는 혼자 준비할 때보다 범위를 넓혔고, 순서가 보이는 화면은 채팅보다 더 넓혔다. 단계별로 채운 사람은 분석 질문이 다양했고 부담도 낮았다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-step-scaffold-vs-open-chat-800-people
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-14

거래처와 단가를 조율하거나 납기를 맞추고 계약 조건을 검토할 때 챗GPT에 자료를 넣는 사장님이 늘고 있다. 그런데 같은 AI를 써도 어떻게 묻느냐에 따라 준비 결과가 달라질 수 있다.

800명을 대상으로 한 협상 준비 실험에서는 AI를 쓴 사람이 자료만 읽은 사람보다 준비 범위가 3.65점 넓었다. 특히 무엇을 먼저 볼지 정한 순서표가 있으면 자유롭게 채팅하는 방식보다 준비 범위가 2.36점 더 넓었다.

챗GPT는 답을 잘 만드는 도구이지만, 무엇을 먼저 생각해야 하는지까지 자동으로 정해 주지는 않는다.

## 그냥 자료를 붙여 넣으면 왜 놓치는 게 생길까?

거래처 자료, 견적서, 계약 조건을 챗GPT에 넣고 「검토해 줘」라고 물으면 빠르게 정리된 답을 받을 수 있다. 하지만 필요한 질문을 스스로 만들지 않으면 중요한 부분을 지나칠 수 있다.

하버드대 연구진은 AI를 활용한 협상 준비 방식을 비교했다. 참가자는 일반 성인이었고, 협상 전문가만 따로 모은 실험은 아니었다.

참가자는 가상의 구호단체 직원이 되어 난민촌 출입을 관리하는 현지 지휘관과 식량 배급 조건을 협상하는 상황을 준비했다. 역할 카드, 업무 연락, 회의록, 후원자 문답 등 15개 문서, 총 6,977단어 자료를 읽고 15분 동안 준비했다.

준비가 끝난 뒤에는 자료를 보지 않고 질문 10개에 답했다. 우리 쪽 목표와 양보할 수 없는 선, 상대의 목표와 선, 공통점과 갈등, 제안과 위험 요소를 얼마나 찾아냈는지를 평가했다.

| 무리 | 준비 화면 | 분석한 인원 |
|---|---|---|
| 읽기만 | 문서와 메모장, AI 없음 | 181명 |
| 채팅 | 문서 + 자유롭게 묻는 AI 채팅 | 260명 |
| 완성 분석 | AI가 순서표 칸을 미리 다 채워 보여 줌 + 채팅 | 206명 |
| 단계별 | 빈 순서표 + 채팅, 대화에 따라 칸이 채워짐 | 153명 |

## AI를 쓰면 모두 같은 효과가 있었나?

결과는 AI를 썼다는 사실보다 AI를 어떻게 사용했는지가 중요했다.

AI 없이 자료만 읽은 그룹의 평균 준비 범위는 26.54점이었다. 자유롭게 AI 채팅을 한 그룹은 28.82점, AI가 미리 분석한 내용을 받은 그룹은 29.82점, 빈 순서표를 채우며 진행한 그룹은 33.01점이었다.

연구진은 순서표가 눈앞에 있으면 무엇을 확인해야 하는지 분명해진다고 봤다. 다만 순서표가 있다고 모든 부분이 좋아진 것은 아니었다.

특히 제안 묶음이 어떤 위험을 가지는지 찾는 능력은 네 그룹 모두 차이가 없었다. 정해진 순서 안에 없는 문제는 따로 물어봐야 한다는 뜻이다.

| 비교 | 숫자 |
|---|---|
| 평균 준비 범위(읽기만 / 채팅 / 완성 분석 / 단계별) | 26.54점 / 28.82점 / 29.82점 / 33.01점 |
| AI를 쓴 세 무리 대 읽기만 | 3.65점 높음(구간 1.25~6.05) |
| 순서표 두 무리 대 채팅 | 2.36점 높음(구간 0.11~4.61) |
| 단계별 대 완성 분석 | 3.19점 높음(통계적으로 확정 못 함) |
| 상대의 양보 못 할 선(순서표 대 채팅) | 5.8점 높음 |
| 주요 갈등(순서표 대 채팅) | 7.9점 높음 |
| 제안 묶음의 위험(네 무리) | 33.7~36.9점, 차이 없음 |

## 챗GPT에는 어떤 순서로 물어야 하나?

사장님이 거래처와 협상할 때는 질문 순서를 먼저 정하는 것이 좋다.

예를 들어 단가 협상이라면 먼저 우리 목표와 절대 양보하지 않을 조건을 정리한다. 그다음 상대가 원하는 것과 그 이유를 살펴본다.

이후 서로 맞는 부분과 충돌하는 부분을 나누고, 가격·납기·결제 조건을 묶은 제안을 만든다. 마지막으로 그 제안의 위험과 상대에게 확인할 질문을 따로 점검한다.

이렇게 칸을 만들어 하나씩 채우면 챗GPT가 자료를 요약하는 데서 끝나지 않고, 협상 준비 과정에 맞춰 질문을 이어 갈 수 있다.

| 할 일 | 근거 숫자 |
|---|---|
| 채팅 첫 메시지에 순서표를 붙이고 한 칸씩 묻는다 | 분석 질문 네 종류 모두: 채팅 9.9%, 단계별 27.3% |
| 자료를 붙여 넣을 때 반드시 질문을 함께 적는다 | 붙여 넣기만 한 메시지 31.0%(채팅) |
| 「상대는 왜 이 조건을 원할까」를 꼭 묻는다 | 상대 분석: 채팅 22.5%, 단계별 58.3% |
| 완성본을 한 번에 받기보다 칸을 하나씩 채운다 | 준비 부담 6.55점 대 6.17점 |
| 제안의 위험은 따로 한 번 더 묻는다 | 순서표가 있어도 위험 준비는 33.7~36.9점으로 차이 없음 |
| AI에게 근거와 반대 의견을 대라고 요청한다 | 검증 요청은 메시지의 2.4% |
| 최종 제안서는 직접 고쳐 쓴다 | 「내 준비」라는 느낌 5.91점 → 5.10점 |

## 자유 채팅과 순서 있는 질문은 무엇이 달랐나?

연구진은 참가자가 AI에 보낸 2,992개 메시지를 분석했다. 자유 채팅 그룹은 자료를 쉽게 설명해 달라는 요청이 많았다.

채팅 그룹에서 AI에게 물어본 사람 중 79.3%가 자료 풀이를 부탁했다. 반면 상대 입장 분석을 물은 사람은 22.5%였다.

순서표를 보며 진행한 그룹은 달랐다. 상대 분석을 물은 사람이 58.3%였고, 우리 쪽 분석·상대 분석·비교·전략 등 분석 질문 네 종류를 모두 한 사람도 27.3%였다.

자료를 붙여 넣고 설명만 듣는 방식보다, 다음에 무엇을 확인할지 정해 놓고 질문하는 방식이 더 다양한 분석으로 이어졌다.

| 항목 | 채팅 | 완성 분석 | 단계별 |
|---|---|---|---|
| AI에게 한 번이라도 물은 사람(무리 전체 기준) | 81.9% | 62.6% | 90.8% |
| 물어본 사람 중 자료 풀이를 부탁한 사람 | 79.3% | 49.6% | 48.9% |
| 물어본 사람 중 상대 입장 분석을 물은 사람 | 22.5% | 18.6% | 58.3% |
| 물어본 사람 중 분석 질문 네 종류를 모두 한 사람 | 9.9% | 3.9% | 27.3% |
| 질문 없이 붙여 넣기만 한 메시지 비중 | 31.0% | 8.7% | 12.7% |
| 준비 부담(7점 척도) | 6.35점 | 6.55점 | 6.17점 |

## 경험이 많은 사장님이면 AI도 더 잘 쓸까?

실험에서는 꼭 그렇지는 않았다.

AI 없이 읽기만 한 그룹에서는 협상 경험이 한 단계 많을수록 준비 범위가 2.62점 높았다. 하지만 AI를 쓴 세 그룹에서는 경험과 점수 사이에 뚜렷한 관계가 보이지 않았다.

일을 잘 아는 것과 AI에게 일을 잘 나누어 맡기는 것은 다른 능력이라는 의미다. 거래처 경험이 많은 사장님도 AI에 어떤 순서로 물을지 정하는 연습이 필요하다.

다른 연구에서도 AI 활용 효과는 업무 방식에 따라 달랐다. 고객 상담원 5,179명을 대상으로 한 연구에서는 AI 도우미를 사용한 뒤 시간당 처리 건수가 평균 14% 늘었고, 신입·저숙련 상담원은 34% 늘었지만 숙련자는 거의 변화가 없었다.

## 견적과 계약 검토에도 이 방법을 쓸 수 있을까?

가능성이 있다. 다만 이 실험은 실제 계약 결과가 아니라 짧은 협상 준비 과정을 본 연구다.

준비 시간은 15분, 답 작성 시간은 17분이었다. 참가자는 일반 성인이었고, 과제도 하나의 인도주의 협상 사례였다.

끝까지 참여한 비율 차이, 영어 사용 환경 등 때문에 한국의 동네 사업 현장에 그대로 적용할 수는 없다. 연구진도 순서표에 없는 위험은 여전히 놓칠 수 있다고 봤다.

여기서부터는 예상이다. 사장님이 반복하는 일에도 각자의 순서표를 만들 수 있다. 견적 검토라면 가격, 원가, 납기, 결제 조건, 위험 요소 순으로 확인하는 식이다.

중요한 것은 챗GPT에게 완성 답안을 한 번에 받는 것이 아니다. 내가 확인해야 할 항목을 정하고, 한 칸씩 질문하면서 빠진 부분을 찾는 방식이다.

① 800명 실험에서 AI 사용자는 자료만 읽은 사람보다 준비 범위가 3.65점 넓었고, 순서표 방식은 자유 채팅보다 2.36점 높았다. ② 채팅 그룹은 AI 질문자의 79.3%가 자료 풀이를 요청했고, 질문 없이 붙여 넣기만 한 메시지도 31.0%였다. ③ 분석 질문 네 종류를 모두 한 사람은 단계별 그룹 27.3%로 채팅 그룹 9.9%보다 약 2.8배 많았다. ④ 순서표가 있어도 제안 위험 점수는 33.7~36.9점으로 차이가 없었고, 검증 요청 메시지는 2.4%뿐이었다.

## 같이 읽을 글

 

- AI를 잘 쓰는 직원은 뭐가 다를까?

- AI로 사업계획서, 혼자 써도 될까?

- 혼자 배우는 사장님, 챗GPT로 어디까지 배울 수 있을까?

- AI가 다 해주면, 사장님은 뭘 해야 할까?
 

## 자료 출처

 

- "ChatGPT, what am I missing?": Designing AI Workflows around Professional Task Structure to Shape Analytic AI Use(하버드 경영대학원 AI 연구소·하버드 공학대학원 등·arXiv 2609.16482·2026년 9월 제출, 4개 조건 무작위 실험 800명)

- 같은 논문 HTML 본문(4절 결과, 부록 표 6·13·14·15)

- Field Manual on Frontline Humanitarian Negotiation(인도적 협상 역량센터 CCHN·2018년 초판, 2019년 11월 보완, 실험 순서표의 원본 틀)

- Generative AI at Work(브리뇰프슨 등·NBER 워킹페이퍼 w31161, 고객 상담원 5,179명·생산성 평균 14%·신입 34%)

- 서울 소상공인 10곳 중 9곳 「AI 안 쓴다」(더나은미래·중소기업중앙회 서울지역본부 2025년 9월 조사, 서울 소상공인 300곳)