우리 회사 이름을 AI에게 한 번만 물어봐도 될까?
같은 질문을 반복하고 기록해야 AI가 우리 회사를 어떻게 설명하는지 제대로 비교할 수 있다
회사 이름을 AI에게 한 번 물어본 결과만으로 우리 회사가 AI에 잘 알려져 있다고 판단하면 안 된다. 같은 질문을 열 번 했을 때 챗GPT가 매번 같은 답을 낸 비율은 73%였다. 여러 AI에 같은 질문을 정기적으로 던지고 답과 출처를 함께 기록해야 다음 결과와 비교할 수 있다.
AI에게 한 번 물어본 답보다 같은 질문을 반복해서 남긴 기록이 더 중요하다.
우리 회사 이름을 AI에게 물어보면 매번 같은 답이 나올까?
그렇지 않을 수 있다. 워싱턴주립대 연구팀은 2021년 이후 발표된 경영학 논문에서 가설 719개를 뽑아 챗GPT에 같은 질문을 열 번씩 반복해서 물었다.
완전히 같은 프롬프트인데도 열 번 모두 같은 답이 나온 경우는 73%였다. 2024년 정답률은 76.5%, 2025년은 80%였지만, 답이 항상 같거나 항상 맞는 것은 아니었다.
| 항목 | 수치 |
|---|---|
| 사용한 질문(가설) 수 | 719개 |
| 질문당 반복 횟수 | 10회 |
| 10회 모두 같은 답이 나온 비율 | 73% |
| 2024년 정답률 | 76.5% |
| 2025년 정답률 | 80% |
이 결과는 회사 이름을 확인할 때도 한 번의 질문만으로 판단하기 어렵다는 점을 보여준다. 오늘 정확하게 답했다고 해서 다음번에도 같은 내용이 나온다고 단정할 수는 없다.
AI가 같은 답을 해도 그 내용이 맞는지는 어떻게 알까?
답이 반복해서 같다고 해서 내용까지 정확하다는 보장은 없다. AI가 답하면서 출처를 붙였더라도 그 출처가 실제로 답의 내용을 뒷받침하는지 확인해야 한다.
PAN 커뮤니케이션즈가 2026년 2월 실무자용 조사 질문에서 챗GPT가 생성한 링크 1만 1,000건 이상을 분석한 결과, 출처가 정확히 맞은 경우가 69%였다. 19%는 엉뚱한 도메인을 출처로 달았고, 12%는 존재하지 않는 출처를 지어냈다.
| 조사 | 표본 | 오류 내용 | 비율 |
|---|---|---|---|
| PAN 커뮤니케이션즈(2026.2) | 링크 11,000건+ | 출처 도메인이 틀림 | 19% |
| PAN 커뮤니케이션즈(2026.2) | 링크 11,000건+ | 존재하지 않는 출처를 지어냄 | 12% |
| 컬럼비아대 토우센터(2025.3) | 질의 1,600건· | 전체 부정확 응답 | 60%↑ |
| 컬럼비아대 토우센터(2025.3) | 같은 조사, 퍼플렉시티만 | 부정확 응답 | 37% |
| 컬럼비아대 토우센터(2025.3) | 같은 조사, 그록3만 | 부정확 응답 | 94% |
컬럼비아대 토우센터의 2025년 3월 조사에서도 엔진마다 차이가 나타났다. 챗GPT 검색·퍼플렉시티·제미나이·딥시크 검색·그록2·3·코파일럿 등 8개 엔진에 질의 1,600건을 던졌을 때 전체 답의 60% 넘게 부정확했다.
같은 조사에서 퍼플렉시티의 부정확 응답은 37%, 그록3는 94%였다. 따라서 회사 이름이나 사업 내용을 확인할 때도 어떤 엔진에서 어떤 답이 나왔는지 따로 기록할 필요가 있다.
그럼 무엇을 기록해야 비교할 수 있을까?
기록 자체는 복잡하지 않다. 날짜와 엔진, 정확히 물은 문장, 답이 언급한 사실, 사실 확인 결과, 답이 제시한 출처를 한 번에 남기면 된다.
특히 질문 문장은 그대로 기록하는 것이 중요하다. 질문 표현이 달라지면 답도 달라질 수 있기 때문이다. 다음번에는 같은 문장을 다시 사용해야 이전 결과와 이번 결과를 비교하기 쉽다.
| 항목 | 예시 |
|---|---|
| 날짜 | 2026-09-23 |
| 엔진 | 챗GPT / 제미나이 / 퍼플렉시티 / 코파일럿 |
| 정확히 물은 문장 | "OOO라는 회사 아세요? 무슨 일을 하는 곳인가요?" |
| 답이 언급한 사실 | 업종· |
| 사실 확인 결과 | 맞음 / 틀림 / 없음(모른다고 답함) |
| 답이 댄 출처(있으면) | 링크 그대로 기록 |
| 비고 | 동명업체· |
답에 출처가 붙었다면 링크도 그대로 적는다. 그리고 그 링크를 직접 확인해 실제로 답과 관련된 내용이 있는지도 기록한다. 동명업체나 경쟁사와 혼동했는지도 비고에 남길 수 있다.
실제로 기록하면 어떤 차이가 보일까?
실제 기록에서는 AI가 우리 회사 이름을 직접 언급하는지와 다른 질문에서 우리 홈페이지를 참고하는지를 나눠서 볼 수 있다. 2026년 9월 15일 챗GPT·제미나이·퍼플렉시티·코파일럿 네 개 엔진에 사명을 직접 물었을 때는 넷 다 언급이 0건이었다.
다음 날인 9월 16일에는 다른 주제 질문에서 챗GPT 답이 단 인용 31건을 전수 확인했다. 그 결과 자사 홈페이지가 10건, 정부 기관이 3건, 티스토리가 1건, 네이버 블로그는 0건이었다.
| 날짜 | 엔진 | 질문 방식 | 결과 |
|---|---|---|---|
| 2026-09-15 | 챗GPT· | 사명 직접 언급 여부 확인 | 4곳 모두 0건 |
| 2026-09-16 | 챗GPT | 주제 질문 답 안 인용 31건 전수 확인 | 자사 홈페이지 10· |
두 기록을 나란히 놓으면 차이가 보인다. 다른 주제의 답에서는 홈페이지가 출처로 등장했지만, 회사 이름을 직접 물었을 때는 이름이 나오지 않았다.
이런 기록은 좋은 결과만 남기는 것이 아니다. 불리한 결과도 날짜와 질문을 그대로 남겨야 다음 기록과 비교할 기준이 생긴다.
AI가 우리 회사를 설명할 때 홈페이지가 중요한 이유는 뭘까?
AI가 답을 만들 때 참고하는 출처를 보면 회사가 직접 관리하는 정보의 중요성을 확인할 수 있다. 옉스트 조사에서는 AI 답 인용의 86%가 홈페이지나 공식 채널처럼 브랜드가 직접 관리하는 출처에서 나왔다.
홈페이지에 우리 회사가 무엇을 하는 곳인지 충분히 적혀 있지 않다면 AI가 참고할 수 있는 공식 정보도 그만큼 제한될 수 있다. 그래서 AI에 회사 이름을 물어보는 일과 홈페이지에 회사 정보를 정리하는 일은 따로 볼 일이 아니다.
| 조사 | 발견 |
|---|---|
| 옉스트(Yext) | AI 답 인용의 86%가 브랜드 직접 관리 출처(홈페이지· |
| 브라이트로컬(2026) | 최근 1년 새 동네 가게를 AI에 물어본 소비자 45%(전년 6%) |
소비자가 AI로 동네 가게를 찾는 흐름도 기록해 볼 필요가 있다. 브라이트로컬의 2026년 조사에서는 최근 1년 새 동네 가게를 찾을 때 AI 도구를 써본 소비자가 45%로 나타났고, 전년에는 6%였다.
중요한 것은 한 번의 답을 보고 안심하는 것이 아니다. 같은 질문을 같은 방식으로 반복하고, 엔진별 결과와 출처를 날짜별로 쌓아야 변화가 보인다.
한 번의 AI 답을 확인하는 것보다 같은 질문과 답을 날짜별로 기록해 비교하는 것이 중요하다.
요점 ① 같은 질문 10회 중 챗GPT가 모두 같은 답을 낸 비율은 73% ② PAN 조사에서 출처 도메인 오류 19%, 존재하지 않는 출처 12% ③ 컬럼비아대 토우센터 조사에서 8개 엔진의 전체 부정확 응답은 60% 초과 ④ 옉스트 조사에서 AI 답 인용의 86%가 브랜드 직접 관리 출처에서 나옴
같이 읽을 글
- 같은 질문인데 왜 챗GPT 답이 달라지나?
- 왜 우리 홈페이지는 챗GPT 출처에는 나오는데 답에는 안 나올까?
- 우리 홈페이지가 챗GPT에 나오면 다른 AI에도 나올까?
- AI가 우리 홈페이지 주소를 틀리게 알려주면 고객은 어디로 갈까?
자료 출처
작성일
← 칼럼 목록