# 가격 문장을 고치면 다른 질문 답도 나빠질까?

_질문 하나에 맞춘 홈페이지 문장이 다른 질문의 답을 흔들 수 있다_

> 2026년 1월 공개된 논문 실험에서 질문을 따로 고칠 때 73.56%였던 ‘이기거나 비긴’ 비율이 함께 조정하면 80.50%로 올랐고, 최악 상황의 위험은 82% 줄었다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/edit-for-one-question-hurts-another-answer
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-30

가격 질문에 잘 답하도록 홈페이지 문장을 고쳤는데 시간이나 주차 질문의 답이 나빠질 수 있다. 실제로 이런 현상은 논문 실험에서 확인됐다. 질문을 하나씩 따로 고쳤을 때 ‘이기거나 최소한 비긴’ 비율은 73.56%였지만, 연관된 질문 5개를 함께 조정했을 때는 80.50%였다.

가격 하나를 고치더라도 다른 질문의 답까지 함께 봐야 한다는 실험 결과가 있다.

## 가격 답을 고쳤는데 왜 시간이나 주차 답이 달라지나

고객은 홈페이지를 보고 질문 하나만 하고 끝내지 않는다. 가격을 물은 뒤 영업시간을 묻고, 주차가 되는지 묻고, 시술·시공 방법이나 예약 방법을 이어서 물을 수 있다.

문제는 홈페이지의 같은 문장이 여러 질문에 쓰인다는 점이다. 가격 질문에 잘 맞도록 숫자나 표현을 바꾸면 그 문장이 다른 질문에 필요한 정보를 전달하는 방식도 달라질 수 있다.

연관된 질문이 여러 개라면 하나의 문장을 고칠 때 한 질문만 볼 수 없다. 한 질문의 답을 좋아지게 만드는 수정이 다른 질문의 답에는 불리하게 작용할 수 있기 때문이다.

## 실제로 확인된 자료가 있나

이 문제를 정량적으로 다룬 논문이 2026년 1월 공개됐다. 중국과학기술대·하이페이종합국가과학센터 연구진이 진행한 연구로, 국제학회 ACL 2026에 채택됐다.

논문에서는 문서 하나에 서로 관련된 질문 5개를 묶어 놓고, 질문별로 문장을 따로 고치는 방식과 5개 질문을 함께 고려해 조정하는 방식을 비교했다. 답변 생성에는 GPT-4o-mini가 사용됐다.

| 실험 설계 항목 | 값 |
|---|---|
| 벤치마크 질문 수 | 1,000개 |
| 문서당 연관 질문 수 | 5개 |
| 답변 생성 모델 | GPT-4o-mini |
| 비교 기존 방식 | 질문 하나씩 따로 고치는 방식(Auto-GEO) |
| 제안 방식 | 질문 5개를 한꺼번에 조정(IF-GEO) |

기존 방식은 질문 하나를 기준으로 문장을 고친 뒤 다음 질문을 보는 방식이다. 반면 제안 방식은 연관된 질문을 한꺼번에 보고 문장을 조정한다.

동네 가게 홈페이지로 생각하면 이해하기 어렵지 않다. 같은 홈페이지에서 가격, 영업시간, 주차, 시술·시공 방법, 예약 방법을 모두 묻는다면 각각의 질문에 맞춰 문장을 따로 바꾸는 것과 다섯 질문을 함께 놓고 바꾸는 것은 결과가 달라질 수 있다.

## 질문을 함께 보면 답변 품질도 달라진다

실험에서 질문을 하나씩 따로 고치는 방식의 전체 답변 품질 점수는 7.59였다. 질문 5개를 함께 조정하는 방식에서는 11.03으로 올라갔다.

두 점수의 차이는 3.44점이다. 전체 기준으로는 45.3% 높아진 결과다.

다만 모든 평가가 같은 폭으로 좋아진 것은 아니다. 사람이 직접 평가한 점수는 5.30에서 5.87로 0.57점 올랐다.

| 지표 | 하나씩 고침 | 한꺼번에 조정 | 차이 |
|---|---|---|---|
| 답변 품질(전체) | 7.59 | 11.03 | +3.44(45.3%↑) |
| 문구 적합도 | 7.80 | 11.07 | +3.27 |
| 문서 내 위치 점수 | 7.64 | 11.15 | +3.51 |
| 사람 직접 평가 | 5.30 | 5.87 | +0.57 |

문구 적합도와 문서 내 위치 점수도 함께 조정한 방식에서 높게 나타났다. 반면 사람의 직접 평가는 기계가 계산한 전체 답변 품질 점수만큼 크게 움직이지 않았다.

이 차이는 한 가지를 보여준다. 홈페이지 문장을 AI가 잘 답하도록 고칠 때 기계가 계산하는 점수만으로 결과를 판단하기는 어렵다는 것이다. 실제 사람이 느끼는 답변 품질도 따로 봐야 한다.

## 더 중요한 건 다른 질문의 답이 무너지지 않는 것이다

이 논문에서 눈여겨볼 부분은 평균 점수만이 아니다. 질문 하나를 개선하는 과정에서 다른 질문의 답이 얼마나 나빠질 수 있는지를 따로 측정했다.

이를 ‘교차질문 안정성’으로 봤다. 질문 하나에 맞춰 문장을 고친 뒤 다른 질문의 답이 떨어지는 상황을 측정하는 방식이다.

하나씩 고치는 방식에서는 최악의 상황 성능이 -0.0511까지 떨어졌다. 다섯 질문을 함께 고려했을 때는 -0.0090이었다.

연구 결과에서는 이 수치를 바탕으로 최악 상황의 위험이 82% 줄었다고 봤다. 다른 질문의 답을 손상시킬 위험도 0.0043에서 0.0023으로 46.5% 줄었다.

| 안정성 지표 | 하나씩 고침 | 한꺼번에 조정 | 의미 |
|---|---|---|---|
| 최악 상황 성능(WCP) | -0.0511 | -0.0090 | 위험 82%↓ |
| 손실 위험(DR) | 0.0043 | 0.0023 | 위험 46.5%↓ |
| 이기거나 비긴 비율(WTR) | 73.56% | 80.50% | +6.94%p |

‘이기거나 최소한 비긴’ 비율도 달라졌다. 질문을 하나씩 고쳤을 때는 73.56%였지만, 여러 질문을 함께 조정했을 때는 80.50%였다.

즉, 가격 질문에 맞춰 문장을 바꾸는 것 자체가 문제라는 뜻은 아니다. 문제는 가격 질문만 보고 문장을 바꾸고, 그 문장이 다른 질문의 답에 어떤 영향을 주는지 확인하지 않는 것이다.

## 질문끼리 맞춰보는 단계를 빼면 어떻게 될까

연구진은 질문 사이의 충돌을 조정하는 단계가 실제로 필요한지도 따로 확인했다. 250개 질문을 대상으로 이 조정 단계를 빼고 다시 측정했다.

질문 간 조정 단계를 포함했을 때 평균 점수는 9.24였다. 이 단계를 제거하자 6.14로 내려갔다.

| 조건(250개 질문 부분집합) | 평균 점수 | 이기거나 비긴 비율 |
|---|---|---|
| 질문 간 조정 단계 포함 | 9.24 | 80.80% |
| 질문 간 조정 단계 제거 | 6.14 | 77.20% |
| 차이 | -3.1점 | -3.6%p |

이기거나 비긴 비율도 80.80%에서 77.20%로 내려갔다. 평균 점수는 3.1점, 해당 비율은 3.6%p 떨어졌다.

결국 질문별로 문장을 따로 고치는 것만으로 끝내는 방식보다 질문 사이의 관계를 확인하는 과정이 중요하다는 결과다. 홈페이지 문장 하나를 수정할 때 그 문장이 어떤 질문들과 연결돼 있는지 함께 살펴봐야 한다는 뜻이다.

## 고객은 실제로 질문을 이어서 한다

이 문제가 동네 가게 홈페이지와 관계있는 이유는 고객이 AI에게 질문을 한 번만 하고 끝내지 않기 때문이다.

오픈서베이 조사에서는 2026년 7월, 최근 3개월 동안 챗GPT를 이용한 사람 가운데 바로 원하는 답을 얻었다고 답한 비율이 56.9%였다. 이어서 추가로 물었다고 답한 비율은 42.3%였다.

| 조사 | 수치 | 시점·표본 |
|---|---|---|
| 오픈서베이 | 바로 원하는 답 얻음 56.9% | 2026.7, 최근 3개월 이용자 |
| 오픈서베이 | 이어서 추가로 물음 42.3% | 2026.7, 최근 3개월 이용자 |
| KISDI | 정보 검색 목적 이용 42.5% | 2026.4 |

KISDI 조사에서는 2026년 4월 챗GPT 이용 목적 가운데 정보 검색 목적이 42.5%였다. 홈페이지에 있는 정보를 AI에게 물어보는 상황이 실제 이용 방식과 연결될 수 있는 이유다.

따라서 홈페이지 문장을 고칠 때는 ‘이 질문에 좋은 문장인가’만 볼 일이 아니다. 같은 문장이 가격 다음에 나올 시간 질문, 주차 질문, 시술·시공 방법 질문, 예약 방법 질문에도 영향을 주는지 함께 봐야 한다.

## 홈페이지 문장 하나를 고칠 때 무엇을 봐야 하나

가격을 묻는 고객을 위해 가격 정보를 더 분명하게 고치는 것은 필요하다. 다만 그 문장이 다른 질문의 답에 사용될 가능성까지 같이 살펴야 한다.

이번 실험에서 중요한 것은 특정 문장을 어떻게 써야 하는지가 아니다. 질문 하나를 기준으로 문장을 계속 고치는 방식보다, 서로 연관된 질문을 함께 놓고 조정하는 방식이 다른 질문의 답이 나빠질 위험을 줄였다는 점이다.

동네 가게 홈페이지에는 가격만 있는 것이 아니다. 영업시간, 주차, 시술·시공 방법, 예약 방법처럼 고객이 이어서 물을 정보가 함께 들어 있다.

그래서 홈페이지 문장을 손보기 전에 먼저 그 문장이 답해야 하는 질문이 몇 개인지 보는 것이 필요하다. 한 질문의 답을 좋아지게 만드는 수정이 다른 질문의 답까지 좋아지게 하는지는 따로 확인해야 한다.

이번 논문 실험은 바로 그 지점을 숫자로 보여준다. 하나씩 고칠 때 73.56%였던 ‘이기거나 비긴’ 비율이 함께 조정하면 80.50%가 됐고, 최악 상황의 위험은 82% 줄었다.

요점 ①질문을 하나씩 고치면 이기거나 비긴 비율 73.56%, 함께 조정하면 80.50% ②최악 상황 성능은 -0.0511에서 -0.0090으로 위험 82% 감소 ③질문 간 조정 단계를 빼면 평균 점수 9.24에서 6.14로 3.1점 하락 ④한국 이용자 42.3%는 한 번 묻고 끝내지 않고 이어서 물음(오픈서베이 2026.7)

## 같이 읽을 글

 

- 모두가 AI 순위에 맞춰 글을 고치면, 순위 높은 글이 좋은 글일까? · /column/everyone-rewrites-for-ai-rank-quality-drifts-20-rounds

- 경쟁 가게도 GEO를 하면 지금 요령이 통할까? · /column/rivals-start-geo-single-tricks-drop-below-baseline

- 왜 챗GPT에는 나오는데 제미나이에는 안 나올까? · /column/same-question-different-ai-different-answer

- FAQ 코드 하나만 넣으면 AI가 3배 더 인용해 줄까 · /column/faq-schema-citation-claim-checked
 

## 자료 출처

 

- IF-GEO: Conflict-Aware Instruction Fusion for Multi-Query Generative Engine Optimization(중국과학기술대·하이페이종합국가과학센터, arXiv 제출 2026.1.20)

- IF-GEO 논문 채택 기록(ACL 2026 Findings)

- IF-GEO 논문 원문 PDF

- IF-GEO 실험 수치 정리 노트(papernotes.org, ACL2026 정보검색 분야)

- IF-GEO 논문 리뷰(themoonlight.io)

- GEO: Generative Engine Optimization(프린스턴대·IIT델리, arXiv 2311.09735, GEO 개념을 처음 제시한 실험 논문)