# 같은 질문인데 왜 챗GPT 답이 달라지나?

_내 계정에서 회사가 나와도 고객에게 같은 답이 나오는 것은 아니다_

> 9/22 같은 질문을 임시 채팅과 일반 채팅에 3시간 45분 간격으로 물었더니 지도 카드 1곳·1순위·설명 길이·인용 페이지가 바뀌었다. 기억 켜진 계정은 측정 도구가 아니다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/temporary-chat-vs-normal-chat-same-question-different-answer
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-09-22

우리 회사가 챗GPT에 나오는지 확인할 때 사장님 계정만 보면 안 된다. 2026년 9월 22일 같은 질문을 두 번 물었더니 3시간 45분 차이로 지도 카드 1곳과 1순위가 바뀌었다. 특히 기억이 켜진 일반 채팅에서는 3시간 전 대화에 나온 모터큐브가 지도 카드에 올라왔다.

사장님 계정에서 우리 회사가 나온다는 것과 고객 계정에서도 나온다는 것은 같은 뜻이 아니다.

## 내 계정에서 나오는데 왜 고객에게도 나온다고 생각하면 안 되나

사장님 계정으로 「우리 회사 나오나」를 물으면 회사가 나올 수 있다. 그런데 그 답에는 그 계정이 이미 알고 있는 내용이 섞일 수 있다.

실제로 2026년 9월 22일 「서울 마포구에서 수입차 정비 잘하는 카센터 추천」을 같은 계정에서 두 번 물었다. 첫 번째는 08:03 임시 채팅이었다. 기억은 꺼져 있었다.

두 번째는 11:48 일반 채팅이었다. 기억이 켜져 있었고, 그 계정에서는 3시간 전에 정비 칼럼 검수 대화를 했다.

두 답은 절반이 달랐다.

| 항목 | 임시 채팅 08:03 | 일반 채팅 11:48 |
|---|---|---|
| 지도 카드 | 마일레오토 2.3·알파 3.0·태평양카독크 4.3·BMW코오롱 4.1 | 알파 3.0·마일레오토 2.3·모터큐브 5.0·BMW코오롱 4.1 |
| 1순위 | 마일레오토 | 알파모터스 |
| 모터큐브 | 본문 「판금·도색 후보」 한 줄 | 지도 카드 승격 + 「Spies Hecker 조색·열처리 부스·사진 공유」 |
| 인용 | 티스토리·정보 블로그·motorcube.co.kr | 같은 3곳, 모터큐브는 /about 페이지 |
| 새로 붙은 것 | — | 「리뷰 3개뿐」 단서, 용도별 표 5칸 |

첫 번째 답에서는 마일레오토가 1순위였다. 두 번째 답에서는 알파모터스가 1순위가 됐다. 지도 카드에도 차이가 생겼다.

특히 두 번째 답에서는 모터큐브가 지도 카드로 올라왔다. 설명도 「Spies Hecker 조색·열처리 부스·작업 과정 사진 공유」까지 길어졌다. 인용 페이지도 /about으로 바뀌었다.

인용 도메인 3곳은 같았다. 그런데 답은 다른 답이었다.

## 왜 같은 질문을 했는데 답이 바뀌나

가장 먼저 볼 것은 기억이다.

일반 채팅에서는 3시간 전 같은 계정에서 모터큐브가 언급된 대화를 했다. 기억이 켜진 계정은 그 이름을 「아는 이름」으로 다룬다.

그래서 사장님이 자신의 계정에서 회사를 검색하고 「우리 회사가 챗GPT에 나온다」고 확인해도, 그 결과를 그대로 고객의 검색 결과라고 볼 수 없다.

두 번째 이유는 검색 결과의 흔들림이다.

같은 질문도 검색 시점마다 결과 순서가 바뀐다. 이번 확인에서도 3시간 45분 차이로 지도 카드 1곳이 교체됐다. 다만 카드 1곳이 바뀐 것만으로 기억 때문이라고 단정할 수는 없다. 검색 결과 자체가 달라진 영향일 수도 있다.

실제로 논문 실측(arXiv 2609.18341)에서도 같은 질문을 검색 켠 상태로 반복하면 실제 업체 비율이 64~71% 사이에서 움직였다. 기억까지 켜지면 편차가 더 커진다.

세 번째는 표본이다.

답 두 개만 보고 어느 쪽이 「보통」인지 정할 수 없다. 한 번 나온 결과를 기준으로 고객에게도 그렇게 나온다고 말하기 어렵다. 같은 질문을 5회 이상 반복해 우리 회사가 얼마나 자주 나오는지 확인해야 한다.

| 원인 | 설명 |
|---|---|
| 기억 | 3시간 전 같은 계정에서 모터큐브가 언급된 대화를 했다. 기억 켜진 계정은 그 이름을 「아는 이름」으로 다룬다 |
| 검색 결과의 흔들림 | 같은 질문도 검색 시점마다 결과 순서가 바뀐다. 카드 1곳 교체는 이 영향일 수 있다 |
| 표본 | 답 두 개로는 어느 쪽이 「보통」인지 못 정한다. 5회 이상 반복이 필요 |

## 그럼 우리 회사가 챗GPT에 나오는지 어떻게 재야 하나

먼저 사장님 계정의 일반 채팅에서 확인하는 방법부터 바꿔야 한다.

고객이 보는 답을 재려면 임시 채팅·비로그인·다른 기기에서 묻는다. 이때 중요한 것은 질문을 바꾸지 않는 것이다. 같은 질문을 반복해야 결과의 차이를 비교할 수 있다.

임시 채팅(chatgpt.com/?temporary-chat=true) 또는 로그아웃 창에서 같은 질문을 묻는다. 그리고 날짜를 바꿔 5회 이상 묻는다.

매번 우리 회사 이름이 나왔는지, 링크가 나왔는지를 센다. 사장님 계정에서 나온 답은 따로 표시한다. 그 답은 「기억 켜짐」일 수 있기 때문에 고객이 보는 결과를 측정하는 데 그대로 섞지 않는다.

챗GPT만 볼 필요도 없다. 퍼플렉시티(비로그인)와 제미나이에도 같은 질문을 한다. 9/22 실측에서는 3엔진이 다른 업체를 골랐다.

한 번 확인하고 끝내지 않는 것도 중요하다. 주 1회 같은 요일·같은 시각에 반복하고 표로 남기면 결과가 어떻게 달라지는지 볼 수 있다.

| 순서 | 할 일 |
|---|---|
| 1 | 임시 채팅(chatgpt.com/?temporary-chat=true) 또는 로그아웃 창에서 묻는다 |
| 2 | 같은 질문을 날짜를 바꿔 5회 이상 묻고, 우리 이름·링크 등장 수를 센다 |
| 3 | 퍼플렉시티(비로그인)·제미나이에도 같은 질문 — 9/22 실측에서 3엔진이 다른 업체를 골랐다 |
| 4 | 사장님 계정으로 물은 답은 「기억 켜짐」이라고 따로 표시하고 측정에서 뺀다 |
| 5 | 주 1회 같은 요일·같은 시각에 반복하고 표로 남긴다 |

## 사장님이 확인할 때 무엇을 따로 봐야 하나

회사가 한 번 나왔는지만 보면 부족하다.

이번 확인에서는 3시간 45분 차이로 지도 카드 1곳이 바뀌었고, 1순위도 바뀌었다. 설명의 길이와 인용 페이지도 달라졌다.

일반 채팅에서는 3시간 전 대화에 나온 모터큐브가 지도 카드로 올라왔다. 이 때문에 사장님 계정에서 확인한 결과를 고객이 보는 일반적인 결과라고 생각하면 안 된다.

또 하나 볼 것은 인용이다. 이번에는 인용 도메인 3곳이 같았지만, 모터큐브의 인용 페이지는 /about으로 바뀌었다. 같은 곳을 참고하더라도 답에 들어가는 업체와 설명이 달라질 수 있다는 뜻이다.

결국 측정의 기준은 「내 계정에서 회사 이름이 나오느냐」가 아니다.

고객이 비로그인이나 임시 채팅에서 같은 질문을 했을 때 우리 회사가 얼마나 자주 등장하는지를 따로 봐야 한다. 그리고 한 번의 답이 아니라 반복한 결과를 남겨야 한다.

사장님 계정에서 잘 나오는 것은 참고할 수 있다. 하지만 그것만으로 고객에게도 똑같이 나온다고 판단하면 안 된다.

① 3시간 45분 차이로 지도 카드 1곳과 1순위가 바뀌었다 ② 3시간 전 대화에서 언급된 모터큐브가 일반 채팅의 지도 카드로 올라왔다 ③ 인용 도메인 3곳은 같았지만 답은 절반이 달랐다 ④ 고객이 보는 결과는 임시 채팅·비로그인으로 5회 이상 반복해 측정한다

## 같이 읽을 글

 

- 같은 질문에 챗GPT·제미나이·퍼플렉시티가 다른 업체를 고른 이유는?

- AI 노출 측정 도구 월 요금 비교

- AI에게 자동차 정비소를 물으면 우리 가게가 나올까?

- AI 답에 우리 회사가 나왔는데 방문자는 왜 0명일까?
 

## 자료 출처

 

- 오픈AI 「임시 채팅」 도움말

- 오픈AI 「메모리」 도움말

- Ibrahim·Zaki arXiv 2609.18341 — 검색 켜면 실제 64~71%

- AI 검색 트렌드 리포트 2026 하반기(오픈서베이, 2026.7)

- AI 인용 출처 지수 2026(5W·에브리싱PR)