AI별 브랜드 보고서, 그대로 믿어도 될까?

AI 노출 측정 업체가 「챗GPT는 우리 브랜드를 이렇게 보고, 제미나이는 저렇게 본다」는 보고서를 보내온다. 하지만 AI별 브랜드 순위와 감정 점수를 그대로 믿어서는 안 된다. AI 5곳의 답 6,475건을 분석한 연구에서 질문 분야가 바뀌자 브랜드 프로필의 판별 결과가 무너졌고, 제미나이 답의 83.1%는 문장 중간에 끊겨 있었다.

AI가 우리 가게를 어떻게 보는지, 정말 알 수 있을까?

AI 노출 측정 업체는 여러 AI에 질문을 던지고 어떤 브랜드가 추천되는지 분석한다. 챗GPT와 제미나이에서 우리 가게가 얼마나 자주 언급되는지, 경쟁 업체보다 앞에 나오는지, 긍정적으로 평가되는지 확인하는 방식이다.

이런 측정은 참고할 만하다. 다만 보고서에 나온 숫자가 곧 AI의 고정된 성향을 뜻하지는 않는다. 어떤 질문을 했는지, 답을 몇 번 받았는지, 답이 끝까지 저장됐는지에 따라 결과가 달라질 수 있다.

에스토니아 기업가정신 응용과학대학과 AI 노출 측정 업체 랭크포AI★에 함께 속한 연구자는 기존 연구의 원본 파일 121개를 다시 분석했다. 대상은 GPT-5.2, 제미나이 3 플래시, 검색을 붙인 제미나이 3 플래시, 그록, 퍼플렉시티였다. 선물 추천, 회사 평판, 업종별 대표 브랜드 질문에서 수집한 답을 다시 살폈다.

보고서에서 AI의 성격을 읽어도 될까?

연구에서는 답 하나의 앞부분 800자만 보고도 어느 AI가 작성했는지 97.84%의 정확도로 맞혔다. 브랜드 이름을 가려도 정답률은 97.72%였다. 목록과 제목, 문장 길이 같은 서식 통계 24개만 사용해도 95.79%를 기록했다.

이는 AI마다 답을 구성하는 방식에 차이가 있다는 뜻이다. 하지만 그 차이가 곧 브랜드를 바라보는 고유한 성향이라는 뜻은 아니다. 답의 형식과 길이만으로도 AI를 구별할 수 있기 때문이다.

보고서에서 「이 AI는 브랜드를 더 많이 추천한다」고 설명한다면 조건을 함께 살펴야 한다. 같은 질문을 사용했는지, 같은 횟수로 물었는지, 답의 길이와 수집 조건이 비슷했는지 확인해야 한다.

답이 끊겼는데, 정상적인 결과로 계산한 건 아닐까?

이번 연구에서 가장 눈여겨볼 부분은 데이터 수집 과정이다. 업종별 대표 브랜드 질문에서는 모든 AI의 답 길이를 1,024토큰으로 제한했다. 그 결과 제미나이 답의 83.1%가 문장 중간에 끊겼다.

GPT-5.2도 빈 답을 136개 냈다. 이 답들은 질문 250개 중 43개에 몰려 있었고, 헬스테크 업종에서만 64개가 나왔다. 그런데 이전 분석에서는 빈 답을 브랜드를 하나도 언급하지 않은 답으로 계산했다.

두 경우는 의미가 다르다. AI가 실제로 브랜드를 추천하지 않은 것과 답을 제대로 받지 못한 것은 구분해야 한다. 이를 섞어 계산하면 브랜드 언급률 자체가 달라진다.

보고서를 받을 때는 답이 끝까지 저장됐는지부터 확인해야 한다. 끊긴 답과 빈 답을 어떻게 처리했는지도 물어야 한다. 원본 답에서 끊김 여부를 확인할 수 있는 정보까지 수집했는지 살펴보면 좋다.

다른 질문에서 얻은 결과도 우리 업종에 적용할 수 있을까?

그대로 적용하기는 어렵다. 연구에서 AI별 답을 모아 브랜드 수, 브랜드 쏠림, 감정, 출처 표시 등 12가지 특징으로 프로필을 만들었다. 같은 질문 분야 안에서는 AI를 구별하는 데 어느 정도 도움이 됐다.

하지만 질문 분야를 바꾸자 결과가 달라졌다. 업종별 대표 브랜드 질문으로 만든 프로필을 선물 추천 질문에 적용했을 때 22개 묶음을 모두 잘못 판별했다. 한 분야에서 확인한 특징이 다른 분야에서도 유지된다고 볼 수 없다는 뜻이다.

브랜드 추천 개수도 뒤집혔다. 선물 추천 질문에서 제미나이는 답 하나에 평균 8.41개 브랜드를 언급했지만, 업종별 대표 브랜드 질문에서는 3.01개였다. GPT-5.2는 선물 추천에서 0.94개, 업종 질문에서 3.91개를 언급했다.

따라서 다른 업종이나 다른 질문에서 얻은 보고서를 우리 가게에 그대로 적용해서는 안 된다. 동네 식당을 측정하려면 식당을 찾는 고객이 실제로 할 법한 질문으로 확인해야 한다. 영어 질문과 세계 브랜드를 대상으로 한 연구 결과가 한국어 질문과 동네 업종에서도 똑같이 나타난다고 보장할 수는 없다.

긍정 점수가 높으면 우리 브랜드를 좋게 평가한 걸까?

이 역시 확인이 필요하다. 연구에서 긍정으로 판정된 답은 94.1%였고, 감정 점수가 최고점에 가까운 답도 76.3%였다. 감정 점수와 답 길이의 상관관계는 전체에서 0.621, 회사 평판 질문에서는 0.859였다.

특히 회사 평판 질문에서 GPT와 제미나이의 감정 점수 차이는 저장된 답 그대로 계산했을 때 0.511이었다. 그런데 답 길이를 맞추자 차이는 0.043으로 줄었다. 점수 차이의 상당 부분이 브랜드를 평가하는 태도보다 답 길이와 관련됐을 가능성이 있다.

보고서에 「챗GPT가 우리 브랜드를 더 긍정적으로 평가한다」는 문장이 있다면 점수만 보지 말아야 한다. 두 AI가 비슷한 길이로 답했을 때도 차이가 유지되는지 확인해야 한다. 출처 표시 역시 같은 기준으로 분류했는지 살펴야 한다.

보고서를 받을 때 무엇을 확인해야 할까?

복잡한 통계 지식이 없어도 확인할 수 있는 항목이 있다. 아래 일곱 가지를 업체에 요청하면 숫자가 만들어진 과정을 파악하는 데 도움이 된다.

특히 원본 답을 직접 확인하는 과정은 빼놓지 않는 편이 좋다. 연구에서 사용한 브랜드 자동 집계 방식은 정밀도가 0.827이었지만 재현율은 0.43 이하였다. 자동으로 집계한 결과가 실제 답에 나온 브랜드를 충분히 찾아냈는지 별도로 검증할 필요가 있다는 뜻이다.

연구자는 같은 자료를 분석한 이전 결과의 일부 수치가 원본 파일에서 재현되지 않았다고도 밝혔다. 네 AI를 구별한 정답률은 이전의 68.0%에서 66.53%로 수정됐다. 보고서의 숫자만 확인할 것이 아니라 그 숫자를 다시 확인할 수 있는 자료가 있는지도 살펴야 한다.

한 번 측정한 결과를 얼마나 오래 믿어도 될까?

AI의 답은 시간이 지나면서 달라질 수 있다. 연구에서 사용한 데이터는 2025년 12월부터 2026년 2월까지 수집한 자료다. 연구자는 수집 기간이 한 번뿐이라는 점과 일부 AI가 특정 질문 분야에만 포함됐다는 점도 한계로 밝혔다.

따라서 한 번 측정한 결과를 AI의 고정된 특성으로 받아들이기보다는 같은 질문과 같은 방식으로 반복 측정한 결과를 비교하는 편이 안전하다. 질문, 수집 날짜, 모델 버전, 출력 한도, 반복 횟수가 같아야 변화의 원인을 더 정확하게 살필 수 있다.

동네 사장님에게 중요한 것은 복잡한 AI 분석표 자체가 아니다. 고객이 우리 가게를 찾을 법한 질문에서 실제로 가게가 언급되는지, 답에 담긴 정보가 정확한지, 경쟁 업체와 비교해 어떤 차이가 있는지를 확인하는 일이다. 보고서가 그 판단을 돕는 자료인지, 수집 과정에서 생긴 차이를 AI의 성격으로 설명하는 자료인지 구분해야 한다.

같이 읽을 글

• AI 노출 점수 40%, 믿어도 될까?
• 경쟁 가게보다 AI에 더 많이 인용됐다는 말을 믿어도 될까?
• 우리 가게가 AI에 나오는지 확인하려면 한 달에 얼마가 들까?
• AI 노출은 매달 무엇을 보면 되나?

자료 출처

• System Attribution in LLM Brand Recommendations(에스토니아 기업가정신 응용과학대학·랭크포AI★·arXiv 2610.00253·2026년 9월 제출, AI 5곳 답 6,475건)
• 같은 논문 HTML 본문(표 1·2·4·5·9, 3.3절 수집 문제, 5장, 6.4절 한계, 부록 11 정정)
• Generating content API: FinishReason(구글 제미나이 개발자 문서, 출력 한도 도달 시 MAX_TOKENS 표시)
• VADER Sentiment Analysis(감정 측정 도구 공식 저장소, 긍정 기준 0.05 이상)
• How Is ChatGPT's Behavior Changing over Time?(스탠퍼드·UC버클리·arXiv 2307.09009, GPT-4 소수 판별 84%→51%)