AI가 써준 사업계획서 숫자, 그대로 믿어도 될까?
시장 규모와 성장률은 그럴듯해도 출처가 없으면 근거가 아니다
AI가 사업계획서를 써주게 할 수는 있다. 하지만 시장 규모나 성장률 같은 숫자는 그대로 믿으면 안 된다. 인용을 지어내는 실험에서는 모델에 따라 지어내기 비율이 14.23%에서 94.93%까지 벌어졌다. 숫자가 그럴듯하다는 것과 실제 근거가 있다는 것은 다른 문제다.
사업계획서에서 가장 먼저 확인해야 할 것은 숫자가 아니라 그 숫자의 출처다.
AI가 만든 시장 규모, 진짜 숫자일까?
사업계획서에는 시장 규모, 성장률, 고객 수 같은 숫자가 자주 들어간다. AI에게 초안을 맡기면 이런 숫자와 함께 "○○협회 조사에 따르면", "△△기관 통계에 따르면" 같은 문장까지 만들어줄 수 있다.
문제는 그 출처가 실제로 존재하는지 따로 확인해야 한다는 점이다. 여러 모델에게 연구 분야별로 인용을 만들게 한 실험에서는 37만5,440건의 인용을 확인했고, 가장 낮은 모델도 14.23%, 가장 높은 모델은 94.93%를 지어냈다.
| 구분 | 지어내기 비율 | 비고 |
|---|---|---|
| 실험한 모델 수 | 13개 | 상용· |
| 실험한 분야 | 40개 연구 분야 | |
| 생성시킨 인용 건수 | 37만5,440건 | |
| 가장 낮은 모델 | 14.23% | |
| 가장 높은 모델 | 94.93% |
이 차이는 모델마다 답변의 신뢰도가 같지 않다는 뜻이기도 하다. 따라서 사업계획서에 들어갈 숫자를 AI에게 맡겼다면, 숫자만 읽지 말고 그 숫자를 만든 원자료까지 직접 열어봐야 한다.
실제 논문에도 가짜 인용이 들어갔다고?
이 문제는 사업계획서에만 생기는 일이 아니다. 학술 논문을 대상으로 한 조사에서도 존재하지 않는 인용이 실제 문서에 섞인 사례가 확인됐다.
네 개 학술 데이터베이스의 논문 250만 편과 참고문헌 1억1,100만 건을 감사한 조사에서 2025년에만 14만6,932건의 지어낸 인용이 확인됐다. 컴퓨터공학 논문에서는 AI가 수정한 흔적이 최대 22%였고, 수학·네이처 계열 논문에서는 최대 9%였다.
| 구분 | 수치 |
|---|---|
| 감사한 참고문헌 | 1억1,100만 건 |
| 감사한 논문 | 250만 편 |
| 감사한 데이터베이스 | 4개(arXiv· |
| 2025년 지어낸 인용 | 14만6,932건 |
| 컴퓨터공학 논문 AI 수정 흔적 | 최대 22% |
| 수학· | 최대 9% |
분야마다 AI가 사용되고 검증되는 방식은 다르다. 하지만 중요한 점은 하나다. 문서가 전문적으로 보인다고 해서 그 안의 인용과 숫자까지 자동으로 사실이 되는 것은 아니다.
법률 문서에서는 실제로 문제가 됐나?
법률 분야에서도 비슷한 문제가 확인됐다. 법원 사건에 대해 구체적으로 답하게 한 실험에서는 모델에 따라 존재하지 않는 내용을 만들어내는 비율이 69%에서 88%까지 나왔다.
실제 사건도 있었다. 2023년 뉴욕의 한 로펌은 AI가 작성한 소송 서류를 그대로 제출했고, 그 서류에는 존재하지 않는 판례 6건이 들어 있었다. 이 일로 변호사 두 명이 5,000달러의 벌금을 물었다.
| 구분 | 수치 |
|---|---|
| 법률 질문 전체 지어내기 | 6건 중 1건 이상 |
| 낮은 쪽 모델(법원 사건 질의) | 69% |
| 높은 쪽 모델(법원 사건 질의) | 88% |
| 실제 사건 지어낸 판례 수 | 6건 |
| 실제 사건 벌금 | 5,000달러(2023) |
사업계획서는 법원에 내는 서류와 목적이 다르다. 그래도 숫자의 출처를 확인하지 않는다면 같은 문제를 안을 수 있다. 특히 AI가 "어느 기관의 조사"라고 적어준 문장은 실제 자료를 직접 열어보기 전까지는 확인된 근거라고 보기 어렵다.
정부지원사업에서는 숫자를 어떻게 볼까?
정부지원사업 사업계획서에서도 중요한 것은 AI를 사용했는지가 아니라 내용의 근거다. 중소벤처기업부 산하 창업 프로젝트는 "깜깜이 심사" 논란 이후 다면평가와 AI검증 도입으로 방향을 바꿨다.
심사에서 문제가 되는 것은 근거 없이 부풀린 숫자다. 반대로 정부 통계처럼 공개되어 확인할 수 있는 자료, 자사 매출이나 상담 건수 같은 내부 자료, 산식이 드러나는 추정치는 근거를 확인할 수 있는 자료로 구분된다.
| 구분 | 내용 |
|---|---|
| 심사 기준 변화 | 대필 여부 대신 다면평가· |
| 감점 대상 | 근거 없이 부풀린 숫자 |
| 신뢰 우선순위 1 | 정부 통계 등 공개 확인 자료 |
| 신뢰 우선순위 2 | 자사 매출· |
| 신뢰 우선순위 3 | 산식이 드러나는 추정치 |
따라서 AI에게 사업계획서를 쓰게 할 때도 역할을 나눠야 한다. 문장을 정리하고 내용을 구성하는 일은 AI에게 맡길 수 있지만, 시장 규모와 성장률 같은 핵심 숫자는 원자료를 확인해야 한다.
사장님들은 AI 답을 얼마나 확인할까?
AI를 사업에 쓰는 사장님이 늘어나는 상황에서는 이 문제가 더 중요해진다. 단독으로 사업을 운영하는 자영업자의 AI 이용률은 12.6%로 조사됐고, 최근 3개월 안에 AI를 사용한 비율은 54.5%였다.
그중 AI의 답을 바로 신뢰하는 경우는 56.9%였다. 반면 이어서 확인 질문까지 하는 경우는 42.3%였다.
| 구분 | 수치 | 출처 |
|---|---|---|
| 단독 자영업자 AI 이용률 | 12.6% | KISDI(2026.4) |
| 최근 3개월 AI 사용 | 54.5% | 오픈서베이(2026.7) |
| 답을 바로 신뢰 | 56.9% | 오픈서베이(2026.7) |
| 이어서 확인 질문까지 함 | 42.3% | 오픈서베이(2026.7) |
사업계획서를 AI로 작성할 때도 첫 답을 그대로 사용하는 습관은 주의해야 한다. 특히 시장 규모나 성장률처럼 심사자가 숫자의 근거를 확인할 수 있는 내용은 출처를 직접 확인하는 과정이 필요하다.
AI가 적어준 숫자가 틀렸다는 뜻은 아니다. 다만 숫자가 맞는지 확인하기 전에는 사실이라고 단정할 수 없다는 뜻이다. 사업계획서에서 필요한 것은 그럴듯한 숫자가 아니라 확인할 수 있는 숫자다.
요점 ① 인용 지어내기 실험 13개 모델 — 최저 14.23%, 최고 94.93% 요점 ② 2025년 학술 논문에 섞인 지어낸 인용 — 14만6,932건 요점 ③ 법률 질문 지어내기 — 69~88%, 실제 사건 벌금 5,000달러 요점 ④ 이어서 확인 질문까지 하는 경우 — 42.3%
같이 읽을 글
- AI가 우리 가게 정보를 틀리게 말하면 고칠 수 있을까? [/column/rag-cuts-sme-ai-hallucination-risk]
- 사장님은 왜 AI 지원금을 못 받았을까? [/column/ai-subsidy-76-percent-didnt-know]
- AI를 쓴다는데, 왜 제대로 쓰는 곳은 적을까? [/column/ai-adoption-gap-93-percent-14-percent]
자료 출처
- LLM hallucinations in the wild: Large-scale evidence from non-existent citations(Zhao 외, arXiv 2605.07723, 2026.5 제출, 참고문헌 1억1,100만 건 감사)
- Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models(스탠퍼드 RegLab)
- AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries(스탠퍼드 HAI)
- Hallucinating Law: Legal Mistakes with Large Language Models are Pervasive(스탠퍼드 로스쿨, 2024.1)
- Mata v. Avianca, Inc.(뉴욕 연방법원 사건 기록, 2023)
- '깜깜이 심사 논란' 중기부 창업프로젝트…다면평가·AI검증 도입한다(이데일리, 2026)
작성일
← 칼럼 목록