AI가 한 말을 그대로 믿어도 될까?

AI가 내놓은 답을 그대로 믿고 결정하는 것은 위험할 수 있다. 실제로 기업 임원 352명 가운데 47%가 부정확하거나 오래된 데이터·AI 정보를 바탕으로 중요한 결정을 내린 경험이 있다고 답했다. 업무에 AI를 쓰는 사람도 65%가 AI 답을 항상 확인하지는 않는다고 했다.

AI가 틀린 답을 내놓는 일이 정말 많을까?

기업 규모가 커도 AI 답을 무조건 믿지는 않는다. 2026년 3월 미국·영국·프랑스의 재무·기술 담당 임원 352명을 조사한 결과, 47%가 지난 12개월 동안 부정확하거나 오래된 데이터·AI 정보를 근거로 회사의 중요한 결정을 내렸다고 답했다.

AI 관련 위험을 우려한다는 응답은 95%였다. 그런데 공식 거버넌스 프로그램을 갖췄다는 응답은 85%였고, 데이터 신뢰도를 한 달에 한 번 이상 다시 점검한다는 기업은 61%였다.

오류로 인한 손해도 작지 않았다. 조사 대상 기업 가운데 데이터 오류로 50만 달러 이상 손해를 본 곳은 72%, 100만 달러 이상 손해를 본 곳은 37%였다.

이 숫자는 AI를 쓰지 말아야 한다는 뜻이 아니다. AI를 쓰더라도 답을 확인하는 절차가 필요하다는 뜻에 가깝다.

왜 AI 답을 확인하지 않고 넘어갈까?

문제는 확인 습관에서도 나타난다. 2026년 9월 미국에서 업무에 AI를 쓰는 성인 500명을 조사한 결과, 65%가 AI 답을 행동에 옮기거나 다른 사람에게 전달하기 전에 항상 확인하지는 않는다고 답했다.

가끔·드물게·전혀 확인하지 않는다는 응답도 32%였다. 42%는 AI 답이 틀렸을 것 같다고 의심하면서도 빠르거나 자신 있어 보인다는 이유로 그대로 진행한 적이 있다고 답했다.

실제로 틀린 AI 답이 업무에서 문제를 일으킨 적이 있다는 응답은 전체의 30%였다. 법률·재무·컴플라이언스 질문에 AI를 사용한 사람만 보면 43%로 높아졌다.

가게에서도 숫자나 법과 관련된 답은 특히 확인할 필요가 있다. 세금, 인건비, 계약처럼 실제 결정에 바로 연결되는 질문이라면 AI가 그럴듯하게 답했다는 이유만으로 그대로 따르기 어렵다.

틀린 답이 나오면 책임은 누구에게 있을까?

AI가 틀렸다고 해서 책임까지 AI가 대신 지는 것은 아니다. 같은 조사에서 틀린 AI 답의 법적 책임이 자신에게 있다고 답한 근로자는 51%였고, AI 회사에 책임이 있다고 답한 사람은 12%였다.

그런데 AI 회사의 약관이 답변의 정확성을 보장하지 않는다는 사실을 몰랐다는 응답도 52%였다. AI의 답을 이용하면서도 그 답에 따르는 책임과 조건을 충분히 확인하지 않는 경우가 있다는 뜻이다.

가게는 대기업처럼 법무팀이나 별도의 검증 담당자를 두기 어렵다. 그래서 AI에게 물어본 답을 실제 결정에 사용할수록 마지막 확인은 사장님이 직접 해야 한다.

AI가 알려주는 뉴스도 확인해야 할까?

AI가 틀리는 문제는 업무에만 나타나는 것이 아니다. 2025년 10월 유럽방송연맹과 BBC가 18개국 22개 공영방송사와 함께 챗GPT, 코파일럿, 제미나이, 퍼플렉시티의 답변 3,000여 건을 언론인이 평가했다.

그 결과 45%는 출처, 사실관계, 맥락 가운데 하나 이상에서 심각한 문제가 있었다. 경미한 문제까지 포함하면 81%였다.

2026년 로이터저널리즘연구소의 디지털 뉴스 리포트에서도 AI 챗봇이 전한 뉴스를 신뢰한다는 응답은 48개국 약 10만 명의 조사에서 세계 평균 20%였다.

한국 이용자는 답변을 받은 뒤 원문 링크를 눌러 확인하는 비율이 56%로 48개국 가운데 가장 높았다. AI의 답을 바로 믿기보다 원문을 확인하는 행동이 실제로 나타나고 있다는 뜻이다.

동네 가게도 AI 답을 확인해야 할까?

가게에서도 AI를 사용하는 일이 늘고 있다. 한국정보통신정책연구원 조사에서는 생성형 AI 이용률이 2026년 4월 13.7%에서 31.6%로 나타났고, 정보 검색 목적의 이용은 42.5%였다.

단독자영업자의 이용률은 12.6%였다. 다만 오픈서베이가 2026년 7월 발표한 조사에서는 최근 3개월 안에 챗GPT 등을 사용한 비율이 54.5%로 나타났고, 궁금한 것을 바로 묻는 습관은 56.9%, 답을 받은 뒤 이어서 다시 묻는 습관은 42.3%였다.

가격, 메뉴, 마케팅 문구처럼 가게 운영과 관련된 내용을 AI에게 묻는 일이 이미 생기고 있다. 이때 중요한 것은 AI에게 묻는 것 자체가 아니라, 받은 답을 바로 결정으로 옮기기 전에 한 번 확인하는 것이다.

AI가 알려준 숫자는 실제 숫자와 맞는지 확인하고, 법이나 세금과 관련된 내용은 관련 자료를 다시 확인하는 식이다. 답이 맞는지 확인하는 데 몇 분이 걸리더라도, 확인하지 않은 답을 그대로 결정에 사용하는 것과는 차이가 있다.

AI는 빠르게 답을 내놓는다. 하지만 빠르게 나온 답과 정확한 답은 같은 뜻이 아니다.

가게 운영에 AI를 활용할수록 필요한 것은 AI를 멀리하는 것이 아니라 확인하는 습관이다. AI에게 먼저 묻고, 답을 확인한 뒤 결정하는 순서를 지키는 것이 중요하다.

같이 읽을 글

• 홈페이지 상담봇이 틀리면 누가 책임질까? · /column/chatbot-hallucination-rate-15-to-88
• AI가 우리 가게 전화번호도 지어낼까? · /column/citation-hallucination-and-your-store
• AI가 우리 가게 정보를 알아서 고쳐줄까? · /column/ai-fix-store-errors-needs-docs
• 가짜 후기는 AI 답변까지 흔들 수 있나? · /column/ai-survey-warns-fake-review-risk

자료 출처

• Companies Are Scaling AI on Data They Don't Trust, New Study Finds(OneStream, PR Newswire, 2026.3.16~19 조사, 임원 352명)
• Half of U.S. Workers Know They Would Be Personally Liable for a Wrong AI Answer, Two-Thirds Still Don't Always Check(Kolmogorov Law, PR Newswire, 2026.9.1 조사, 업무용 AI 이용자 500명)
• Can You Trust AI Answers? Misinformation, Hallucinations, and Business Risk(NPI, 계기 자료)
• AI Assistants Get the News Wrong Nearly Half the Time, Researchers Say(EBU·BBC 공동조사, 2025.10, 18개국 22개 공영방송·응답 3천여 건)
• Overview and key findings of the 2026 Digital News Report(로이터저널리즘연구소, 2026, 48개국 약 10만 명)