AI가 우리 가게 정보를 틀리게 말하는 이유는 뭘까?
AI의 사실 오류율은 질문 조건에 따라 크게 달라진다. 근거자료가 없으면 88%까지 틀릴 수 있고, 정보가 적은 가게는 정확도가 40% 아래로 떨어질 수 있다.
AI가 사실을 틀리게 말하는 비율은 하나의 숫자로 볼 수 없다. 근거자료 없이 낯선 질문에 답하게 하면 법률 질문에서 최대 88%까지 틀렸지만, 원문이 주어진 요약 과제에서는 0.7%까지 낮아졌다. 동네 가게처럼 인터넷에 정보가 적은 대상은 GPT-4의 정확도가 40% 아래로 떨어진 연구도 있다.
82%는 AI 전체의 평균 오류율이 아니라 특정 조건에서 나온 숫자로 봐야 한다.
82%라는 숫자는 우리 가게에도 그대로 적용될까?
그대로 적용하면 안 된다. sqmagazine이 2026년에 정리한 「LLM Hallucination Statistics 2026」은 제목에 82%를 내세웠지만, 본문에는 어느 모델이 어떤 조건에서 82%의 오류를 보였는지 구체적으로 밝히지 않았다.
82%에 가장 가까우면서 조건이 분명한 수치는 스탠퍼드 로스쿨 연구팀의 2024년 법률 질문 실험이다. 근거자료 없이 법률 질문에 답하게 하자 GPT-4는 58%, GPT-3.5는 69%, 라마2는 88%가 틀렸다.
| 조사 | 조건 | 환각률 |
|---|---|---|
| Dahl 등, Stanford, 2024 | 범용 GPT-4, 법률 질문, 근거자료 없음 | 58% |
| Dahl 등, Stanford, 2024 | 범용 GPT-3.5, 법률 질문, 근거자료 없음 | 69% |
| Dahl 등, Stanford, 2024 | 범용 라마2, 법률 질문, 근거자료 없음 | 88% |
| Stanford HAI, 2024 | 특화 법률 AI(검색 근거 있음) | 약 17%(6건 중 1건) |
이 결과만 놓고 보면 82%를 모든 AI 답변에 적용할 수는 없다. 법률 질문이라는 특정 분야였고, 무엇보다 AI에게 답을 확인할 근거자료를 주지 않은 조건이었기 때문이다.
근거자료를 주면 왜 결과가 달라질까?
AI에게 자료를 주고 그 자료를 바탕으로 답하게 하는 것과, 자료 없이 기억에 의존해 답하게 하는 것은 다른 과제다. 구조화된 출력 실험에서는 검색 근거가 없을 때 환각률이 최대 21%였지만, 검색 결과를 함께 주자 7.5% 이하로 떨어졌다.
원문이 이미 주어진 요약 과제에서는 수치가 더 낮았다. Vectara의 문서 7,700여 개를 대상으로 한 비교에서 제미나이-2.0-플래시는 0.7%, GPT-4o는 1.5%, 클로드 소네트는 4.4%, GPT-5.4-미니는 5.5%, 클로드 오퍼스는 10.1%였다.
| 조건 | 모델/방식 | 환각률 |
|---|---|---|
| 검색 근거 없음 | 구조화 출력 실험(arXiv 2404.08189) | 최대 21% |
| 검색 근거 있음 | 같은 실험, 검색 결과 포함 | 7.5% 이하 |
| 원문 요약(Vectara, 문서 7,700여 개) | 제미나이-2.0-플래시 | 0.7% |
| 원문 요약(Vectara) | GPT-4o | 1.5% |
| 원문 요약(Vectara) | 클로드 소네트 | 4.4% |
| 원문 요약(Vectara) | GPT-5.4-미니 | 5.5% |
| 원문 요약(Vectara) | 클로드 오퍼스 | 10.1% |
여기서 중요한 점은 AI가 항상 같은 방식으로 사실을 확인하는 것이 아니라는 점이다. 답변에 사용할 원문이나 검색 결과가 주어졌는지에 따라 같은 AI라도 결과가 달라질 수 있다.
우리 가게처럼 인터넷에 정보가 적어도 괜찮을까?
이 부분이 동네 가게가 특히 주의해서 볼 대목이다. 개체별 지식량을 측정한 연구에서 GPT-4는 위키피디아 하루 조회수가 많은 인기 개체에는 90%대의 정확도를 보였지만, 하루 조회수가 10회 미만인 비인기 개체를 물으면 정확도가 40% 아래로 떨어졌다.
| 개체 유형 | 조건 | GPT-4 정확도 |
|---|---|---|
| 인기 개체 | 위키피디아 하루 조회수 많음 | 90%대 |
| 비인기 개체 | 위키피디아 하루 조회수 10회 미만 | 40% 미만 |
동네 가게는 유명한 기업이나 잘 알려진 장소와 비교하면 인터넷에 이름이 자주 등장하지 않을 가능성이 크다. 그래서 AI가 우리 가게에 대해 정확히 알고 있다고 전제하기보다, 인터넷에서 확인할 수 있는 정보가 충분한지부터 보는 것이 중요하다.
가게의 실제 정보가 인터넷에 충분히 정리돼 있지 않다면 AI가 정확한 답을 찾기 어려울 수 있다. 반대로 가게에 관한 정보를 확인할 수 있는 자료가 있다면, AI가 그 자료를 근거로 답하는 환경을 만들 수 있다.
AI가 오래 생각하면 더 정확해질까?
반드시 그렇지는 않다. 오픈AI가 2025년 4월 인물 사실 확인 시험인 PersonQA로 비교한 결과, o1은 16%, o3-미니는 14.8%가 틀렸지만 o3는 33%, o4-미니는 48%가 틀렸다.
| 모델 | 추론 방식 | PersonQA 환각률 |
|---|---|---|
| o1 | 짧은 추론 | 16% |
| o3-미니 | 짧은 추론 | 14.8% |
| o3 | 긴 추론 | 33% |
| o4-미니 | 긴 추론 | 48% |
즉, 추론을 더 길게 하는 모델이라고 해서 사실 오류가 자동으로 줄어드는 것은 아니다. 오픈AI도 기술 보고서에서 이런 결과의 원인을 아직 모두 밝히지 못했다고 적었다.
업종이 달라도 같은 차이가 생길까?
업종에 따라서도 결과는 달라질 수 있다. 의료 분야에서 챗봇 9종의 참고문헌을 확인한 2026년 4월 메드스케이프 실험에서는 환각률이 0%에서 34%까지 갈렸다.
| 조사 | 조건 | 환각률 |
|---|---|---|
| 메드스케이프, 2026.4 | 챗봇 9종, 의료 참고문헌 확인 | 0~34% |
같은 의료 질문에 답하는 상황에서도 어떤 서비스를 사용하는지, 검색 결과를 근거로 쓰는지에 따라 차이가 있었다. 따라서 특정 분야의 오류율 하나를 모든 업종과 모든 가게에 그대로 적용하는 것은 맞지 않다.
동네 사장님이 봐야 할 핵심도 여기에 있다. 「AI가 몇 퍼센트나 틀리는가」보다 「우리 가게를 물었을 때 AI가 확인할 수 있는 자료가 있는가」가 더 직접적인 문제다.
82%라는 숫자는 AI의 평균 성적표가 아니다. 근거자료 없이 낯선 질문에 답하는 조건에서는 오류가 크게 높아질 수 있고, 원문이나 검색 근거가 주어진 과제에서는 오류가 훨씬 낮아질 수 있다.
특히 인터넷에 정보가 적은 동네 가게는 AI가 충분한 정보를 가지고 있다고 보기 어렵다. 가게에 관한 정확한 정보가 어디에서 확인되는지가 AI가 우리 가게를 설명할 때 중요한 조건이 된다.
요점 ① 근거자료 없는 법률 질문에서 모델별 환각률이 58%·69%·88%까지 나타났다 ② 검색 근거를 주면 같은 구조화 출력 실험에서 7.5% 이하로 낮아졌다 ③ PersonQA에서는 o3 33%·o4-미니 48%가 틀렸다 ④ 비인기 개체를 물은 GPT-4의 정확도는 40% 미만이었다
같이 읽을 글
자료 출처
- LLM Hallucination Rate Up to 82%: 40+ Stats(sqmagazine, 2026)
- Large Legal Fictions(Dahl 등, Journal of Legal Analysis, 2024, 16:64-93)
- AI on Trial: Legal Models Hallucinate in 1 out of 6 Queries(Stanford HAI, 2024)
- Hallucination Leaderboard(Vectara, GitHub, 2026)
- Introducing the Next Generation of Vectara's Hallucination Leaderboard(Vectara, 2026)
- OpenAI's New Reasoning AI Models Hallucinate More(TechCrunch, 2025.4.18)
- Head-to-Tail: How Knowledgeable are LLMs?(arXiv 2308.10168)
- Reducing Hallucination in Structured Outputs via RAG(arXiv 2404.08189)
- AI Chatbots Vary Widely on Fake Medical References(Medscape, 2026.4)
작성일
← 칼럼 목록