새로 연 가게도 AI에게 추천될 수 있을까?

AI는 가게의 실력만 보는 것이 아니라 경력과 외부 기록 같은 신뢰 신호도 함께 볼 수 있다

문을 연 지 얼마 안 된 가게라면 이런 걱정이 생긴다. 실력이 같아도 AI가 오래되고 유명한 가게를 먼저 추천하지 않을까 하는 걱정이다. 실제 실험에서는 내용이 같아도 권위 표시를 바꾸자 AI의 추천 39.2%가 달라졌다.

AI는 무엇을 하는지뿐 아니라 누가 했는지와 어떤 곳에서 인정받았는지도 함께 볼 수 있다.

정말 가게의 실력보다 이름값을 볼까?

연구진은 컴퓨터과학 25개 주제에서 논문 1,250편을 모았다. 논문 제목과 초록은 그대로 두고 저자의 h지수, 소속 기관, 실린 학회·학술지, 인용 수만 바꿨다. 질문과 후보 논문의 순서도 고정해 권위 표시가 추천에 영향을 주는지 살폈다.

질문 250개에 후보 논문 10편씩을 붙이고 AI에게 가장 잘 맞는 논문 1편을 고르게 했다. 같은 내용의 논문이라도 경력과 실린 곳 같은 표시가 달라지면 추천이 바뀌는지를 비교한 것이다.

항목값
시험한 AI8개(오픈소스 5개 + gpt-5.4·gemini-3-flash-preview·claude-sonnet-4-6)
논문1,250편(주제 25개 × 50편)
질문250개(주제당 10개), 질문마다 후보 10편
분석에 쓴 응답17,898건(응답 해석 성공률 99.4%)
가중치를 정한 예비 실험15,000회(모델 3개)
지시문중립 / 약한 경고 / 강한 경고, 3종

상·하위 논문의 권위 표시를 서로 맞바꾸자 5,940쌍 가운데 2,328쌍의 추천이 바뀌었다. 비율로는 39.2%다. 중간 논문 1편에만 높은 h지수와 인용 수, 유명한 소속과 학회 표시를 붙였을 때도 21.7%가 바뀌었다.

조건비교 쌍추천이 바뀐 쌍비율
상·하위 표시 맞바꿈5,9402,32839.2%
중간 1편만 부풀림5,9331,28821.7%
부풀림 조건에서 권위 높은 쪽으로 바뀐 비율1,28887968.2%
맞바꿈 조건에서 권위 높은 쪽으로 바뀐 비율2,32895240.9%

그럼 유명한 곳을 적어 놓으면 유리할까?

그렇게 단순하지 않다. 후보 10편 가운데 상위권 논문은 30%였지만 원래 조건에서 추천의 52.1%를 차지했다. 표시를 맞바꾸자 상위권 추천은 32.5%로 줄었고, 하위권은 11.8%에서 20.2%로 늘었다.

내용의 힘도 남아 있었다. 권위 표시를 바꾼 뒤에도 상위권 논문이 32.5%를 차지했기 때문이다. AI는 내용과 이름값을 함께 본다고 보는 것이 맞다.

실제 등급후보 중 비율원래 조건맞바꿈1편 부풀림
상위30%52.1%32.5%49.1%
중위30%20.8%29.0%22.8%
하위20%11.8%20.2%12.0%
신생(2024~26년)20%15.3%18.3%16.1%

한 편만 부풀린 경우에는 효과가 훨씬 작았다. 바뀐 추천 가운데 권위 점수가 더 높은 쪽으로 간 비율은 68.2%였지만, 실제로 꾸민 논문이 추천된 비율은 27.1%였다. 우연히 뽑힐 기대치인 25.6%와 비교하면 1.5%p 높았을 뿐이다.

그래서 신생 가게가 경력이나 수상을 크게 꾸며 놓는 방식은 이 연구의 결과와 맞지 않는다. 오히려 실제로 가진 경력과 외부에서 확인할 수 있는 기록을 정확하게 보여 주는 쪽이 중요하다.

AI는 경력과 수상 중 무엇을 더 볼까?

예비 실험 15,000회에서 가장 무거운 신호는 논문이 어디에 실렸는지였다. 그다음이 저자들의 경력 중간값이었고, 가장 유명한 저자 한 명의 경력과 인용 수가 뒤를 이었다. 소속 기관은 상대적으로 영향이 작았다.

가게에 그대로 적용할 수 있는 결과는 아니다. 다만 신생 가게가 홈페이지에 무엇을 적을지 생각할 때 참고할 수는 있다. 대표 한 사람의 경력만 보여 주기보다 직원들의 자격과 연차, 지역 언론이나 협회, 공공기관에서 확인할 수 있는 기록을 함께 정리하는 방식이다.

신호가중치가게에 옮겨 본다면(해석)
실린 곳의 격0.3531우리 가게를 소개한 곳(언론·협회·공공기관)
저자 경력 중간값0.2918일하는 사람들의 평균 경력
가장 유명한 저자0.1868대표 한 사람의 이력·수상
인용 수0.1372후기 수, 다른 곳의 언급
소속 기관0.0311간판·프랜차이즈 이름

여기서 중요한 것은 사실이어야 한다는 점이다. 연구는 이름값을 부풀리는 방법을 검증한 것이 아니다. 한 곳만 부풀렸을 때 추천에 미친 변화가 1.5%p에 그쳤다는 결과도 함께 봐야 한다.

AI마다 가게를 보는 방식이 다를까?

그렇다. 실험에서는 AI에 따라 권위 표시를 바꿨을 때 추천이 달라지는 정도가 크게 달랐다. 맞바꿈과 부풀림 조건을 평균낸 흔들림은 17.4%부터 49.2%까지 차이가 났다.

대형 상용 모델 3개도 권위 표시를 바꿨을 때 추천이 달라졌다. 연구진은 대형 모델의 추가 학습이 이런 쏠림을 줄였을 수 있다고 봤지만, 이것은 연구진의 가설이다.

모델맞바꿈 시 바뀜부풀림 시 바뀜흔들림(평균)
gpt-5.422.4%12.4%17.4%
claude-sonnet-4-624.8%11.6%18.2%
gemini-3-flash-preview26.9%15.5%21.2%
Gemma 2:9b33.2%14.0%23.6%
DeepSeek-R1:8b41.9%35.4%38.7%
Mistral:7b49.7%22.0%35.9%
Qwen 2.5:7b51.6%28.8%40.2%
Llama 3.1:8b63.2%35.2%49.2%

주제에 따라서도 차이가 있었다. 어텐션 주제에서는 추천이 바뀐 비율이 15.7%였지만 문서 요약에서는 57.8%였다. 같은 AI라도 무엇을 고르게 하느냐에 따라 결과가 달라질 수 있다는 뜻이다.

「내용만 봐」라고 하면 이름값을 무시할까?

완전히 그렇지는 않았다. 이름값을 고려하지 말라는 약한 경고를 넣었을 때 추천이 바뀐 비율은 41.9%였다. 초록 내용만 보라는 강한 경고를 넣어도 31.4%가 바뀌었다.

더 눈여겨볼 부분은 AI가 말하는 이유와 실제 선택이 달랐다는 점이다. 강한 경고를 넣자 추천 이유에서 유명한 저자나 인용 같은 권위 언급은 31.6%에서 7.6%로 줄었다. 하지만 실제 추천이 바뀐 비율은 12.9%p만 줄었다.

즉 AI가 추천 이유에서 이름값을 말하지 않는다고 해서 실제 선택에서도 완전히 사라졌다고 볼 수는 없다. 홈페이지를 AI가 어떻게 읽는지 생각할 때도 겉으로 드러난 설명만으로 판단해서는 안 되는 이유다.

지시문추천이 바뀐 비율이유에 권위를 언급한 비율
중립44.2%31.6%
약한 경고41.9%13.4%
강한 경고31.4%7.6%
강한 경고에서 줄어든 폭−12.9%p−24.0%p

신생 가게라면 홈페이지에 무엇을 보여 줘야 할까?

가장 먼저 해야 할 일은 이미 있는 사실을 글자로 꺼내 놓는 것이다. 대표의 이전 경력과 수상, 직원의 자격과 연차, 언론·협회·공공기관에서 확인할 수 있는 기록을 출처와 함께 정리할 수 있다.

최근 후기와 날짜도 사실대로 보여 줄 수 있다. 브라이트로컬의 2026년 미국 성인 1,002명 조사에서는 AI로 가게를 고르는 사람 가운데 88%가 AI가 인용한 출처를 다시 확인한다고 답했다. 같은 조사에서 47%는 후기가 20개 미만인 가게를 이용하지 않는다고 했고, 74%는 최근 3개월 안의 후기만 본다고 답했다.

신생 가게가 꺼낼 사실대응하는 신호(해석)고객 쪽 숫자(브라이트로컬 2026, 미국 1,002명)
언론·협회·공공기관 기록 + 링크실린 곳의 격(0.3531)AI 이용자 88%가 인용 출처를 다시 확인
직원 전원의 자격·연차경력 중간값(0.2918)—
대표의 이전 경력·수상가장 유명한 저자(0.1868)—
최근 후기 수와 날짜인용 수(0.1372)47%가 후기 20개 미만이면 이용 안 함·74%가 최근 3개월 후기만 봄

다만 이 숫자를 곧바로 모든 고객이나 모든 가게에 적용해서는 안 된다. 이 조사는 미국 성인 1,002명을 대상으로 했고, 논문 실험 역시 가게를 직접 대상으로 한 연구가 아니다.

이 연구로 어디까지 알 수 있을까?

가장 중요한 한계가 있다. 연구 대상은 컴퓨터과학 논문 25개 주제뿐이다. 가게나 의료·사회과학 분야에서는 결과가 달라질 수 있다고 연구진도 밝혔다.

또 실제 검색 상황과도 다르다. 실험에서는 질문 안에 후보 논문 10편을 직접 넣고 1편을 고르게 했다. AI가 웹을 검색해 가게를 찾아 답하는 상황과는 차이가 있다.

그래서 「AI가 오래된 가게를 39% 더 추천한다」고 말할 수는 없다. 말할 수 있는 범위는 같은 내용이라도 권위 표시가 달라지면 AI의 추천이 크게 흔들릴 수 있다는 정도다.

신생 가게가 할 일도 분명하다. 없는 경력이나 수상을 만드는 것이 아니라, 실제 경력과 자격, 수상, 외부 기록, 후기처럼 확인할 수 있는 사실을 홈페이지에 구체적으로 적는 것이다. 특히 그 사실을 확인할 수 있는 출처까지 함께 보여 주면 고객이 다시 확인하기도 쉽다.

① 권위 표시를 맞바꾸자 AI 8개의 추천 39.2%가 바뀌었다 ② 가장 무거운 신호는 실린 곳 0.3531, 경력 0.2918이었고 소속 기관은 0.0311이었다 ③ 강한 경고를 넣어도 추천 변화는 31.4%였고 실제 변화는 12.9%p 줄었다 ④ 한 곳만 부풀린 효과는 1.5%p였고 AI 이용자의 88%는 인용 출처를 다시 확인했다

같이 읽을 글

자료 출처

작성일

#AI의 눈 #권위 편향 #신뢰 신호 #신생 가게 #경력 #후기 #GEO

← 칼럼 목록
무료로 신청하기→