# AI가 준 신뢰 점수, 내용이 맞다는 뜻일까?

_신뢰 점수와 사실 확인은 따로 봐야 한다_

> AI 심사관 5종은 같은 답이라도 「사람 작성」 표시가 붙으면 신뢰 점수를 비교 30칸에서 모두 높게 줬다. 같은 표시가 붙은 틀린 답은 15칸 모두에서 맞는 답으로 더 자주 통과했다. 홈페이지 점수의 「신뢰」와 「사실」은 따로 봐야 한다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-trust-score-is-not-fact-check
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-02

AI가 홈페이지에 「신뢰도 높음」이라는 점수를 줬다고 해서 내용까지 맞다는 뜻은 아니다. 한 연구에서 AI 심사관 5종은 같은 답에 「사람」 표시만 붙여도 30칸 모두 신뢰 점수를 더 높게 줬다. 따라서 홈페이지 점수에서 신뢰도와 사실 확인이 함께 높게 나왔다면, 두 가지 증거가 따로 나온 것으로 보면 안 된다.

AI의 「신뢰」와 「사실」 판단은 서로 영향을 받을 수 있다.

## 신뢰 점수가 높으면 내용도 맞는 걸까?

홈페이지 진단 도구는 신뢰도·정확성·전문성·가독성처럼 여러 항목을 점수로 보여준다. 점수가 여러 칸으로 나뉘어 있으면 각각 독립적으로 확인한 결과처럼 보인다.

하지만 신뢰도와 사실 확인은 원래 다른 판단이다. 신뢰도는 출처가 그럴듯해 보이는지 같은 인상의 영향을 받을 수 있다. 사실 확인은 내용이 실제로 맞는지를 따지는 일이다.

일본 국립정보학연구소(NII)·도쿄대와 네덜란드 암스테르담대·CWI·위트레흐트대 연구진은 이 두 판단이 실제로 어떻게 움직이는지 살폈다. 질문 분야는 건강 질문·일반 상식 질문·사실 검증 등 3개였고, 맞는 답과 틀린 답을 각각 준비했다.

| 실험 구성 | 내용 |
|---|---|
| 질문 분야 | 3개(건강 질문·일반 상식 질문·사실 검증) |
| 문항 구조 | 질문 하나에 맞는 답 1개·틀린 답 1개 |
| 바꾼 것 | 작성자 표시만 「사람」 또는 「AI」(답 내용은 그대로) |
| AI 심사관 | 5종(GPT-5.4·클로드 소네트 4.6·라마 3.3 70B·GPT-oss 120B·큐웬 3.6 35B) |
| 사람 비교군 | 54명 |
| 판단 2가지 | 신뢰 점수(연속 점수), 맞음·틀림 판정(둘 중 하나) |

## 사람은 신뢰와 사실을 다르게 판단할까?

사람 54명에게 같은 답을 보여줬을 때는 신뢰 점수와 사실 판단이 어느 정도 따로 움직였다. 맞는 답의 신뢰 점수는 4.66점, 틀린 답은 4.14점이었다.

맞음·틀림을 가려낸 정확도는 맞는 답에서 77%, 틀린 답에서 88%였다. 믿음이 가는 답이라고 해서 무조건 맞다고 판단한 것은 아니라는 뜻이다.

AI 심사관의 결과는 달랐다. 맞는 답의 신뢰 점수는 6.60점, 틀린 답은 6.10점이었다. 정확도도 맞는 답 68%, 틀린 답 63%로 나타났다.

| 심사 주체 | 답의 실제 상태 | 신뢰 점수 | 맞음·틀림 정확도 |
|---|---|---|---|
| 사람 54명 | 맞는 답 | 4.66 | 77% |
| 사람 54명 | 틀린 답 | 4.14 | 88% |
| AI 심사관 | 맞는 답 | 6.60 | 68% |
| AI 심사관 | 틀린 답 | 6.10 | 63% |

연구진은 이 차이를 두 판단이 사람보다 AI에서 더 붙어 있는 신호로 봤다. 다만 사람과 AI가 사용한 점수 방식 자체가 달랐기 때문에 점수의 크기를 그대로 비교하기보다 판단의 방향을 보는 것이 중요하다.

## 글은 그대로인데 「사람이 썼다」고 하면 달라질까?

연구에서는 더 직접적인 시험도 했다. 답의 내용은 한 글자도 바꾸지 않고 작성자 표시만 「사람」과 「AI」로 바꿨다.

결과는 뚜렷했다. 3개 분야, AI 심사관 5종, 맞는 답과 틀린 답을 나눈 30개 비교 칸에서 모두 「사람」 표시가 붙은 쪽의 신뢰 점수가 더 높았다.

가장 큰 차이는 건강 질문의 맞는 답을 GPT-5.4가 심사한 경우였다. 표시가 없을 때 4.95점이던 답이 「사람」 표시에서는 5.09점, 「AI」 표시에서는 3.86점으로 나뉘었다. 같은 내용인데 작성자 표시만 바꿔 1.23점 차이가 났다.

문제는 신뢰 점수에서 끝나지 않았다. 사실인지 아닌지를 가리는 판정도 작성자 표시의 영향을 받았다.

| 분야·모델(틀린 답) | 표시 없음 | 「사람」 표시 | 「AI」 표시 | 틀린 답을 맞다고 통과시킨 비율(사람 표시) |
|---|---|---|---|---|
| 사실 검증·라마 3.3 70B | 42% | 39% | 45% | 61% |
| 사실 검증·큐웬 3.6 35B | 49% | 45% | 55% | 55% |
| 사실 검증·GPT-oss 120B | 67% | 64% | 73% | 36% |
| 건강 질문·라마 3.3 70B | 56% | 51% | 60% | 49% |
| 건강 질문·클로드 소네트 4.6 | 81% | 78% | 82% | 22% |

## 틀린 글도 「사람이 썼다」고 하면 더 통과할까?

틀린 답 15개 비교 칸에서는 모두 「사람」 표시가 붙었을 때 틀린 답을 가려내는 정확도가 「AI」 표시보다 낮았다. 다시 말해 틀린 글을 맞다고 통과시키는 일이 늘었다.

맞는 답 15개 비교 칸에서는 반대였다. 「사람」 표시가 붙었을 때 맞는 글을 더 잘 맞혔고, 「AI」 표시가 붙으면 맞는 글을 의심하는 방향으로 움직였다.

사실 검증 분야의 라마 3.3 70B에서는 「사람」 표시가 붙은 틀린 답을 61% 비율로 맞다고 판정했다. 같은 답에 「AI」 표시를 붙였을 때는 그 비율이 55%였다.

연구진은 공개 모델을 대상으로 「맞음」을 고를 내부 확률도 확인했다. 라마 3.3 70B에서는 신뢰 점수가 높아질수록 「맞음」 확률도 높아졌다.

| 비교(이 글에서 표 2를 센 결과) | 같은 방향이 나온 칸 |
|---|---|
| 「사람」 표시 → 신뢰 점수 더 높음 | 30칸 중 30칸 |
| 「사람」 표시 → 맞는 답을 더 잘 맞힘 | 15칸 중 15칸 |
| 「사람」 표시 → 틀린 답을 더 많이 통과시킴 | 15칸 중 15칸 |
| 가장 큰 신뢰 점수 차이(같은 글) | 1.23점(GPT-5.4·건강 질문) |

즉 신뢰 점수가 높아지는 흐름과 사실을 맞다고 보는 흐름이 함께 움직였다. 연구진은 AI 심사관에게 이 두 판단을 믿을 만하게 떼어 놓는 일이 어렵다는 결론을 냈다.

## 그럼 홈페이지 점수표는 어떻게 봐야 할까?

이 연구가 곧바로 모든 홈페이지 진단 도구가 똑같이 작동한다는 뜻은 아니다. 실험은 실제 홈페이지가 아니라 질의응답 문항으로 진행됐기 때문이다.

다만 점수표를 읽는 방법은 분명해진다. 신뢰 점수가 높고 정확성 점수도 높다는 이유만으로 내용이 두 번 확인됐다고 생각해서는 안 된다. 같은 AI의 판단이 여러 점수에 함께 반영됐을 가능성을 따로 살펴봐야 한다.

특히 가격·영업시간·주소·시술 시간처럼 고객이 실제로 확인할 정보는 AI 점수와 별개로 원본 자료와 맞춰야 한다. 점수가 높다는 사실만으로 실제 정보가 맞는지 확인할 수는 없다.

연구진이 제시한 점검 방법도 이런 방식이다. 출처 표시를 가리고 다시 평가하거나, 같은 본문에서 작성자 표시를 바꿔 평가하면 표시가 점수에 영향을 주는지 확인할 수 있다.

| 점검 | 방법 | 확인하는 것 |
|---|---|---|
| 표시 가리고 다시 채점 | 가게 이름·「전문가 작성」·인증 문구를 지운 본문만 넣기 | 점수가 내용에서 나왔는지 |
| 표시 바꿔 채점 | 같은 본문에 작성자를 「AI 작성」으로 바꿔 넣기 | 정확성 칸까지 움직이는지 |
| 사실은 원본과 대조 | 가격·영업시간·주소·시술 시간을 가격표·사업자 자료와 한 줄씩 맞추기 | AI 점수와 무관한 사실 여부 |
| 칸끼리 겹침 보기 | 신뢰 칸과 정확성 칸이 늘 같이 오르내리는지 기록 | 두 칸이 사실상 한 판단인지 |

## 이 연구 결과를 어디까지 받아들여야 할까?

이번 실험에는 한계도 있다. 3개 분야와 5종의 AI 심사관, 「사람」과 「AI」라는 두 작성자 표시를 시험했기 때문에 실제 웹에서 사용하는 모든 출처 신호를 다룬 것은 아니다.

다국어 질문은 다음 과제로 남았다. 한국어 홈페이지에서도 같은 크기의 효과가 나타나는지는 이 연구만으로 알 수 없다.

사람 비교군도 54명이었다. 연구진은 이들을 정답을 정하는 기준이라기보다 AI와 사람의 판단 행동을 비교하는 참고 대상으로 사용했다.

내부 확률 분석도 라마 3.3 70B 같은 공개 모델에서만 이뤄졌다. 왜 이런 현상이 생기는지에 대한 원리까지 밝힌 것은 아니다.

그래도 같은 답에서 작성자 표시만 바꿨는데 30개 비교 칸 모두 신뢰 점수가 같은 방향으로 움직였다는 점은 확인할 필요가 있다. 홈페이지의 신뢰 점수와 사실 확인 점수를 서로 독립된 증거로 받아들이기보다, 실제 사실은 원본 자료와 따로 대조하는 것이 안전하다.

① AI 심사관 5종은 「사람」 표시만 붙여도 30칸 중 30칸에서 신뢰 점수를 더 높게 줬다. ② 틀린 답은 15칸 중 15칸에서 「사람」 표시 때 더 많이 통과했고, 라마 3.3 70B에서는 61%를 맞다고 판정했다. ③ 같은 글의 신뢰 점수 차이는 최대 1.23점이었다. ④ 사람 54명은 맞는 답과 틀린 답의 정확도가 77%·88%였지만 AI는 68%·63%였다.

## 같이 읽을 글

 

- AI 홈페이지 점수는 어떤 AI가 매겼는지도 봐야 할까?

- 출처만 붙으면 고객은 더 믿을까?

- 홈페이지 숫자를 예쁘게 넣으면 AI가 더 믿어 줄까?

- AI가 우리 가게를 인용했다는데, 진짜일까?
 

## 자료 출처

 

- When Trust Meets Truth: Trust–Truth Separability in LLM-as-Judge(일본 국립정보학연구소·도쿄대·암스테르담대·CWI 외, arXiv 2608.21097, 2026.8, 3개 분야·AI 심사관 5종·사람 54명)

- Label Effects: Shared Heuristic Reliance in Trust Assessment by Humans and LLM-as-a-Judge(같은 연구진, arXiv 2604.05593, 2026.4, 시선 추적·모델 주의 분석)

- Humans or LLMs as the Judge? A Study on Judgement Biases(홍콩중문대(선전), arXiv 2402.10669, 2024.2 공개·EMNLP 2024, 권위·성별 등 편향)

- A Survey on LLM-as-a-Judge(arXiv 2411.15594, AI 심사관 연구 정리)

- Google Search's guidance about AI-generated content(구글 검색 센터 블로그, 2023.2)