챗봇 안내문을 두 번 쓰면 정말 더 잘 지킬까?
같은 절차 지시를 두 번 적으면 단계 준수율은 90.22%에서 93.17%로 올랐지만, 정답률은 60.21%로 그대로였다.
같은 절차 지시를 한 번 더 적으면 챗봇이 정해 둔 순서를 지키는 비율은 90.22%에서 93.17%로 올랐다. 하지만 정답률은 두 경우 모두 60.21%로 같았다. 가게 챗봇이라면 「가격을 말하기 전에 인원·날짜·옵션을 확인하라」는 규칙을 한 번 더 적어 볼 수 있지만, 가격 자체가 맞는지는 별도로 관리해야 한다.
같은 말을 반복하면 챗봇은 순서를 조금 더 잘 지키지만, 답의 내용까지 더 정확해지는 것은 아니다.
한 번 더 적으면 정말 효과가 있나?
2026년 9월 공개된 실험에서 같은 절차 지시를 한 번 더 넣었을 때 여덟 단계를 모두 지킨 답이 90.22%에서 93.17%로 늘었다. 7개 모델에 300문항을 제시하고 8가지 조건으로 시험해 총 16,800번 생성했으며, 실제로 끝까지 나온 답은 16,646개였다.
실험에서 챗봇은 사실 정리부터 의미 파악, 임시 답, 가장 강한 다른 답, 둘을 가르는 차이, 답이 바뀌는 조건, 다시 생각하기, 최종 답까지 여덟 단계를 따르도록 안내받았다. 임시 답을 정하기 전에는 답을 고르지 말라는 규칙도 있었다.
| 지시 횟수 | 여덟 단계를 모두 지킨 답 | 질문 속 사실을 답에 옮긴 비율 | 정답률 | 순서 전에 답부터 정함 |
|---|---|---|---|---|
| 0번 | 해당 없음 | 해당 없음 | 60.90% | 해당 없음 |
| 1번(세 조건 평균) | 90.22% | 73.44% | 60.21% | 1.52% |
| 2번(세 조건 평균) | 93.17% | 74.81% | 60.21% | 2.30% |
| 3번 | 93.24% | 75.09% | 60.14% | 3.12% |
| 1번→2번 차이 | +2.95%p | +1.38%p | 0.00%p | +0.77%p |
한 번 적었을 때 여덟 단계를 모두 지키지 못한 비율은 9.78%였다. 두 번 적자 6.83%로 줄었다. 남은 실패의 30.2%가 없어진 셈이지만, 실제 증가폭은 2.95%p다.
연구자도 이 둘을 구분해서 설명했다. 실패가 상대적으로 30% 줄었다고 해서 챗봇의 성능이 실제로 30% 좋아졌다는 뜻은 아니다.
그럼 답도 더 정확해지나?
정답률은 달라지지 않았다. 한 번 적은 경우와 두 번 적은 경우 모두 6,300개 가운데 3,793개가 맞아 정답률이 60.21%였다.
문제마다 결과가 바뀐 경우는 있었다. 모델·문항 묶음 2,100개 가운데 341개에서 맞힌 횟수가 달라졌지만, 두 번 적은 쪽이 나은 묶음은 170개, 한 번 적은 쪽이 나은 묶음은 171개였다. 한쪽의 변화가 다른 쪽의 변화를 거의 그대로 상쇄했다.
가게 챗봇으로 생각하면 이해하기 쉽다. 「가격을 말하기 전에 인원·날짜·옵션부터 확인하라」는 규칙을 두 번 적으면 확인 절차는 조금 더 지킬 수 있다. 그러나 챗봇이 말하는 가격이 맞는지는 지시를 몇 번 적었는지가 아니라 챗봇이 읽는 가격표에 달려 있다.
몇 번 적는 게 적당할까?
많이 적을수록 계속 좋아지는 것은 아니었다. 지시를 한 번 적었을 때 이미 효과가 대부분 나타났고, 두 번째부터는 효과가 작아졌다.
세 번 적었을 때 여덟 단계를 모두 지킨 비율은 93.24%였다. 두 번 적었을 때의 93.17%와 거의 차이가 없었다. 반면 순서를 지키기 전에 답부터 정한 경우는 1.52%에서 2.30%, 세 번 적으면 3.12%로 늘었다.
따라서 같은 절차를 계속 반복해서 넣는 방식은 피하는 편이 낫다. 특히 모든 규칙을 여러 번 복사하기보다 꼭 지켜야 할 절차 하나를 골라 확인하는 방식이 적절하다.
어디에 적어야 효과가 클까?
지시를 어디에 두는지도 차이가 있었다. 시스템 칸에만 한 번 넣거나 질문 앞에 넣는 방식과 비교했을 때, 질문 뒤에만 한 번 넣는 방식은 효과가 거의 없었다.
실험에서 가장 효과가 큰 방식은 시스템 칸에 지시를 한 번 두고, 같은 지시를 질문 뒤에 한 번 더 붙이는 것이었다. 여덟 단계를 모두 지킨 비율은 3.31%p 높아졌다.
| 배치 | 사실을 옮긴 비율 | 여덟 단계를 모두 지킨 답 | 정답률 |
|---|---|---|---|
| 시스템 칸에만 1번 | 72.35% | 88.81% | 60.38% |
| 질문 앞에만 1번 | 74.32% | 92.57% | 59.62% |
| 질문 뒤에만 1번 | 73.65% | 89.29% | 60.62% |
| 2번 적은 세 조합(범위) | 73.39~76.22% | 91.52~94.52% | 59.67~60.62% |
| 시스템 칸 1번 → 질문 뒤 1번 추가 | 73.33→75.53%(+2.19%p) | +3.31%p | 변화 없음 |
질문 뒤에 붙인 지시는 7개 모델 모두 같은 방향으로 효과가 나타났다. 다만 모든 모델에서 통계적으로 뚜렷한 차이가 확인된 것은 아니었다.
답도 조금 길어졌다. 답을 고르기 전까지 사용한 말은 201토큰에서 216토큰으로 7.5% 늘었다. 길이가 비슷한 답끼리만 비교하면 반복 효과는 +0.36%p로 줄었다.
즉, 지시를 한 번 더 적어서 생긴 변화 가운데 일부는 답변 자체가 길어진 영향일 수도 있다.
다른 안내서는 어떻게 말할까?
반복과 위치를 다룬 다른 자료도 있다. 다만 실험 조건이 서로 다르므로 숫자를 그대로 비교해서는 안 된다.
2025년 12월 구글 연구진의 실험은 질문 전체를 두 번 반복한 경우를 살폈다. 모델 7개와 시험 7종을 비교한 70개 사례에서 47개가 개선됐고 나빠진 곳은 없었다.
오픈AI의 GPT-4.1 안내서는 긴 자료 앞뒤에 지시를 두는 방식을 설명한다. 앤스로픽의 긴 문서 안내서는 2만 토큰이 넘는 자료에서는 자료를 위에 두고 질문을 맨 끝에 두는 방식을 설명하며 자체 시험에서 답 품질이 최대 30% 개선됐다고 밝힌다.
| 자료 | 무엇을 반복· | 숫자 |
|---|---|---|
| 구글 연구진, 질문 통째 반복 실험(2025.12) | 질문 전체를 두 번 | 모델 7개 × 시험 7종 = 70개 비교에서 47개 개선, 나빠진 곳 0 |
| 오픈AI GPT-4.1 안내서 | 긴 자료 앞뒤에 지시를 둘 다 | 앞이나 뒤 한 곳보다 나았다고 밝힘(입력 100만 토큰 모델) |
| 앤스로픽 긴 문서 안내서 | 2만 토큰 넘는 자료는 위에, 질문은 맨 끝에 | 답 품질 최대 30% 개선(자체 시험) |
| 이번 실험(2026.9) | 절차 지시만 두 번 | 단계 지킴 +2.95%p, 정답률 0%p |
이번 실험은 질문 전체가 아니라 절차 지시만 반복했다는 점이 다르다. 그래서 질문을 반복했을 때 정답률이 올라간 사례와 이번 실험의 결과를 같은 현상으로 볼 수는 없다.
가게 챗봇에는 어떻게 적용할까?
가게에서 상담 챗봇을 쓴다면 모든 안내문을 두 번 적을 필요는 없다. 고객에게 답하기 전에 반드시 확인해야 하는 절차가 있다면 그 규칙 하나를 안내문 끝에 한 번 더 적는 정도로 시험해 볼 수 있다.
예를 들어 가격을 안내하기 전에 인원·날짜·옵션을 확인해야 한다면 그 절차를 반복할 수 있다. 반면 가격표나 재고표처럼 정확한 사실을 알려주는 자료는 반복해서 적기보다 실제로 챗봇이 읽는 자료를 정확하게 관리하는 것이 중요하다.
| 할 일 | 근거 숫자 | 주의할 점 |
|---|---|---|
| 꼭 지켜야 할 절차 하나만 골라 안내문 끝에 한 번 더 적기 | 가장 효과가 큰 배치 +3.31%p | 모든 규칙을 반복하지 말고 절차 하나만 |
| 세 번 이상 적지 않기 | 3번 적으면 답부터 정함 3.12% | 2번(2.30%)보다 더 늘어남 |
| 가격· | 정답률 60.21% 그대로 | 지시 반복은 내용을 바로잡지 못함 |
| 고치기 전후로 같은 질문 20~30개 돌려 보기 | 사람 점검 30쌍 중 20쌍은 차이 없어 보임 | 눈으로 대충 보지 말고 확인 항목을 정해 세기 |
실제로 적용했다면 고치기 전과 후를 같은 질문으로 비교하는 것이 좋다. 사람 점검에서는 차이가 크게 느껴지지 않는 경우도 있었다. 30쌍 가운데 20쌍은 차이를 느끼지 못했고, 10쌍은 반복한 쪽이 나았으며 반대로 나빠진 경우는 없었다.
다만 미리 정한 통과 기준은 30쌍 중 28쌍이어서 이 기준에는 미치지 못했다. 따라서 이 실험만으로 반복 지시가 상담 품질을 크게 높인다고 말하기는 어렵다.
왜 답을 자동으로 처리하는 가게는 더 확인해야 할까?
사람이 답을 읽을 때와 다른 프로그램이 챗봇의 답을 읽을 때는 결과가 달라질 수 있다. 답 가운데 특정 단계가 적혀 있어야 자동으로 처리하는 프로그램을 붙인 실험에서는 돌발성 난청 사례 1,000건에서 목표 답 비율이 84.2%에서 97.1%로 올랐다.
하지만 비슷한 다른 진단인 전음성 난청 1,000건에서는 78.6%에서 73.8%로 떨어졌다. 예약 확정 문자나 주문서를 챗봇 답에서 자동으로 뽑아 쓰는 가게라면 반복 지시의 영향을 사람이 읽을 때보다 크게 받을 수 있지만, 다른 항목이 나빠지는지도 함께 확인해야 한다.
이번 실험의 한계도 분명하다. 모델 7개가 무작위로 뽑힌 것은 아니고 문제는 모두 의료 객관식이었다. 연구자도 다른 분야와 다른 지시문에서 같은 결과가 나올지는 확인되지 않았다고 적었다.
사전 계획을 등록하고 검증한 실험이 아니라 탐색 단계의 분석이라는 점도 봐야 한다. 사람 점검 역시 의료인이 아닌 저자 한 명이 했다. 따라서 가게 상담에 그대로 적용하기보다 작은 범위에서 직접 비교해 보는 것이 안전하다.
국내 가게의 AI 사용 자체도 아직 많지 않다. 중소기업중앙회 서울지역본부가 서울 소상공인 300곳을 조사한 결과 AI를 쓰는 곳은 9.7%였고, 쓰기 어려운 이유로 비용을 꼽은 비율은 69.0%였다. KISDI 조사에서는 혼자 일하는 자영업자의 생성형 AI 이용률이 12.6%였다.
이미 챗봇을 쓰는 가게라면 지시 한 줄을 더 적어 보는 데는 비용이 들지 않는다. 다만 이 방법을 상담 품질을 끌어올리는 주된 방법으로 보기보다는, 반드시 지켜야 하는 절차를 보강하는 작은 실험으로 보는 편이 맞다.
요점 ① 같은 절차 지시를 두 번 적으면 여덟 단계를 모두 지킨 답이 90.22%에서 93.17%로 2.95%p 늘었다. ② 정답률은 6,300개 중 3,793개로 두 경우 모두 60.21%였다. ③ 답부터 정한 경우는 1.52%에서 2.30%로 늘었고, 세 번 적으면 3.12%였다. ④ 가장 효과가 큰 배치는 시스템 칸과 질문 뒤에 한 번씩 적는 방식으로, 여덟 단계 준수율이 3.31%p 높아졌다.
같이 읽을 글
자료 출처
- Instruction Duplication as an Inference-Time Control Primitive(PeaceTech VC·arXiv 2609.04024·2026년 9월, 모델 7개·의료 객관식 300문항·8조건·생성 16,800회)
- Prompt Repetition Improves Non-Reasoning LLMs(구글 연구진·arXiv 2512.14982·2025년 12월, 모델 7개·시험 7종·70개 비교)
- GPT-4.1 Prompting Guide(오픈AI 쿡북·공식 문서, 긴 자료 앞뒤 지시 배치)
- Long context prompting tips(앤스로픽·공식 문서, 질문을 끝에 두면 최대 30% 개선)
- 서울 소상공인 10곳 중 1곳만 'AI 활용'…가장 큰 걸림돌은 '비용'(쿠키뉴스·2025년 11월, 중소기업중앙회 서울지역본부 조사·300곳)
작성일
← 칼럼 목록