AI는 믿을 만한 곳의 말을 더 무겁게 들을까?

AI가 인터넷에서 정보를 읽고 답할 때는 믿을 만한 곳의 말을 더 무겁게 듣는다고 생각하기 쉽다. 그런데 AI 13개를 약 67만 번 시험한 연구에서는 출처의 신뢰도와 생각을 바꾸는 정도의 상관이 0.03에 그쳤다. 이름난 정도와의 상관은 0.07로 두 배였다.

우리 홈페이지가 유명하지 않으면 AI는 안 믿을까?

실험은 단순한 방식으로 진행됐다. 먼저 AI에게 숫자로 답할 수 있는 질문을 던지고 첫 답을 받았다. 그다음 「어느 언론사가 답을 이렇게 말했다」고 알려 주고, AI가 얼마나 생각을 바꾸는지 확인했다.

출처는 실제 뉴스 사이트 132곳이었다. 연구진은 출처의 신뢰도와 방문자 규모를 기준으로 나눠 여러 조건을 만들었고, 질문은 4,248개를 사용했다.

AI는 믿을 만한 곳과 유명한 곳 중 무엇을 더 볼까?

연구진은 AI가 신뢰도가 높은 출처의 말을 더 받아들이는지를 따로 측정했다. 결과는 13개 모델 모두 출처 가려 듣기가 0.019~0.06에 머물렀다.

믿을 만한 출처의 말을 더 따라간 확률도 51~52%였다. 동전 던지기의 50%와 거의 차이가 없다.

반면 출처가 얼마나 이름났는지와 AI가 생각을 바꾼 정도의 상관은 0.07이었다. 신뢰도와의 상관인 0.03보다 두 배 높았다.

이 결과만으로 AI가 유명한 곳을 무조건 믿는다고 말할 수는 없다. 다만 출처의 신뢰도를 알아보고 그 차이를 답에 반영하는 능력이 충분하지 않다는 점은 확인됐다.

최신 AI라면 출처를 더 잘 가려낼까?

큰 모델이나 새 모델이라고 해서 출처를 가려 듣는 능력이 좋아진 것은 아니었다. 오히려 차이는 사실을 가려 듣는 능력과 처음 맞힌 답을 지키는 능력에서 나타났다.

GPT-5는 처음 답이 맞았을 때 92%를 지켰다. 하지만 출처 가려 듣기는 0.032로 GPT-4o의 0.06보다 낮았다.

즉 AI가 더 똑똑해진다고 해서 「이 사이트가 얼마나 믿을 만한가」를 자동으로 더 잘 판단한다고 보기는 어렵다. 연구진은 출처 하나하나에 대한 지식이 학습 과정에서 충분히 채워지거나 고쳐지지 않는 점을 이유로 설명했다.

틀린 정보가 들어오면 AI는 얼마나 흔들릴까?

처음 답이 틀렸을 때 AI가 정답 쪽으로 옮겨간 비율은 21.3%였다. 그런데 정답에서 더 멀어진 비율은 22.1%로 오히려 조금 높았다.

처음 답이 맞았는데도 틀린 말을 듣고 답을 바꾼 경우도 8.2%였다. AI가 처음부터 정확한 정보를 갖고 있는 것이 중요한 이유다.

이 결과를 동네 가게에 그대로 적용할 수는 없다. 연구의 질문은 숫자로 답하는 문제였고, 출처도 뉴스 사이트였다. 가게 홈페이지나 리뷰를 직접 시험한 연구는 아니기 때문이다.

다만 동네 가게 정보처럼 AI가 충분히 알고 있지 않은 내용에서는 바깥 정보가 답에 영향을 줄 가능성을 생각해 볼 수 있다. 이 부분은 연구 결과를 바탕으로 한 예상이다.

AI가 출처를 먼저 살피게 하면 달라질까?

연구진은 AI에게 출처의 신뢰도를 먼저 매겨 보라고 시켰다. 그러자 출처 가려 듣기는 좋아졌고, AI가 매긴 신뢰도와 실제 신뢰도의 상관은 0.41이었다.

하지만 알아보는 것과 실제 답에 반영하는 것은 달랐다. AI가 스스로 매긴 신뢰도를 기준으로 다시 측정했을 때 출처 가려 듣기는 0.089에서 0.46으로 오르는 데 그쳤다.

이용자들은 이런 문제를 중요하게 생각했다. 미국 AI 이용자 299명을 대상으로 한 조사에서는 믿을 만한 출처에 더 움직여야 한다는 원칙과 정답에 가까운 말을 더 따라야 한다는 원칙 등에 대해 9개 문항 모두 평균이 중간점을 넘었다.

그렇다면 동네 가게 홈페이지는 무엇을 해야 할까?

첫째는 정보마다 확인할 근거를 붙이는 것이다. 가게가 무엇을 잘하는지 말하는 것만으로는 부족하다. 가격, 영업시간, 자격증 번호처럼 확인할 수 있는 정보는 숫자와 출처를 함께 보여 주는 편이 낫다.

구글 검색 문서도 경험·전문성·권위·신뢰 가운데 신뢰를 가장 중요하게 본다고 설명한다. 누가 썼는지와 어떤 경력이 있는지도 확인 항목으로 든다.

둘째는 다른 곳에서도 같은 정보가 확인되게 하는 것이다. AI는 이름난 출처의 말에 더 움직이는 경향을 보였다. 따라서 지역 언론이나 공공기관 목록, 지도 서비스 등 다른 곳에서도 가게 정보가 같은 내용으로 확인된다면 홈페이지 하나만 있는 경우보다 유리할 수 있다.

이 역시 이번 실험이 직접 증명한 것은 아니다. 다만 다른 곳의 브랜드 언급량과 구글 AI 요약에 나오는 정도의 상관이 0.664였다는 별도 분석 결과가 있다.

셋째는 모든 곳의 정보를 똑같이 맞추는 것이다. 홈페이지와 다른 곳에 가격이나 영업시간이 서로 다르게 적혀 있으면 AI가 어느 정보를 따라야 할지 판단하기 어려워진다.

넷째는 기본 정보를 한곳에 정확하게 정리하는 것이다. 새 모델일수록 처음부터 맞는 답을 지키는 능력은 좋아졌다. GPT-5의 맞는 답 지키기는 92%였다.

홈페이지가 유명해지는 것과 별개로, AI가 확인할 수 있는 정확한 정보를 만드는 일은 가게가 직접 할 수 있다. 특히 가게 이름, 가격, 영업시간, 자격과 같은 기본 정보는 어디에 올라가든 같은 내용이어야 한다.

우리 홈페이지 하나만 잘 만들면 충분할까?

그렇지는 않다. 실제로 9월 15일 4개 엔진에서 직접 확인한 결과, 해당 테스트에서는 답에 나온 경우가 0곳이었다.

홈페이지를 고치는 것만으로 가게의 이름난 정도가 바로 생기는 것은 아니다. 이번 연구에서도 출처의 신뢰도보다 이름난 정도가 AI의 판단과 더 관련이 있었다.

그렇다고 홈페이지를 중요하지 않게 볼 이유도 없다. AI가 처음부터 정확한 답을 갖게 하려면 고객이 확인할 수 있는 기본 정보를 한곳에 정확하게 정리해 두는 것이 필요하다.

이번 연구에는 분명한 한계도 있다. 숫자로 답하는 질문만 사용했고, 뉴스 사이트 132곳을 출처로 삼았다. 실제 검색을 거쳐 답하는 전체 과정도 시험하지 않았다.

따라서 이 결과를 「한국의 모든 AI가 가게 홈페이지보다 유명한 사이트를 무조건 믿는다」고 해석해서는 안 된다. 다만 동네 가게가 AI에게 정보를 전달하려면 홈페이지의 문장만 그럴듯하게 만드는 것보다, 확인 가능한 정보와 근거를 만들고 다른 곳에서도 같은 정보가 확인되게 하는 것이 더 현실적인 방법이다.

같이 읽을 글

• 새로 연 가게도 AI에게 추천될 수 있을까?
• 같은 글을 여러 곳에 올리면 AI가 더 믿을까?
• AI는 우리 홈페이지의 경력도 믿을까?
• AI가 준 신뢰 점수, 내용이 맞다는 뜻일까?

자료 출처

• Information Discernment in Large Language Models(University of Michigan·arXiv 2607.19355·2026.5, 13개 모델·약 67만 번 시험·이용자 299명)
• 같은 논문 HTML 본문(모델별 지표·결과 분류·OECD 비교·신뢰도 0.41)
• Learn2Discern 이용자 조사 사전등록(OSF·미국 AI 이용자 299명·2차례)
• Learn2Discern 공개 자료(GitHub·질문 4,248개·출처 132곳)
• 함샤우트 글로벌 AI 연구소 「AIBA AI 인용 지수 인사이트 리포트」 창간호(AI매터스·2026.6~7 수집·질문 1,616·인용 76,970건)
• 검색 AI가 가장 많이 인용한 국내 언론은 연합뉴스(블루닷에이아이·2026.9·연합뉴스 378건 32.7%)
• An Analysis of AI Overview Brand Visibility Factors(에이치레프스·브랜드 7만 5천 곳·언급 0.664·백링크 0.218)
• Creating helpful, reliable, people-first content(구글 검색 센터·신뢰가 가장 중요·출처와 작성자 표시)