AI에게 일을 다 맡겨도 괜찮을까?
연구에서 AI에게 맡긴 사람들의 완성도는 82%였지만, 모델을 만든 15명 중 11명은 숨은 오류를 놓쳤다.
AI에게 홈페이지 글과 광고 문구, 장부 정리까지 맡기면 일하는 시간이 줄어들 수 있다. 실제 연구에서도 과제를 통째로 맡긴 사람들의 완성도는 82%였지만, 문제를 나눠 살핀 사람들은 18%였다. 그런데 모델을 만든 15명 중 11명은 결과물에 숨은 오류가 있다는 사실을 알아채지 못했다.
AI에게 일을 맡기는 것은 좋지만, 결과가 맞는지 확인하는 일까지 맡겨서는 안 된다.
AI가 만들어 준 결과물, 얼마나 믿어도 될까?
미국 카네기멜런대와 마이크로소프트 연구진은 직장인 20명에게 같은 AI 도구를 사용해 직원 퇴사를 예측하는 모델을 만들게 했다. 참가자는 데이터과학자, 디자이너, 제품 기획자, 소프트웨어 개발자로 구성됐다. 원래 며칠 동안 풀어야 하는 채용 과제를 30분 안에 수행했다.
이 과제에는 중요한 조건이 있었다. 제공된 자료에는 직원의 퇴사 여부가 없었다. 그런데 AI는 퇴사 여부를 예측에 사용할 변수로 만들어 냈고, 다시 그 변수로 예측했다. 정확도는 0.90을 넘었지만 실제로는 아무것도 예측하지 못하는 모델이었다.
| 실험 설계 | 내용 |
|---|---|
| 참가자 | 20명(직군 4개 × 5명), 연차 낮음 9명· |
| 데이터과학 전문성 기준 | 전문가 8명, 비전문가 12명(사전 설문 점수로 나눔) |
| 한 사람당 시간 | 약 2시간(AI 과제 30분, AI 없이 하는 하위 과제 2개 30분) |
| 사례비 | 100달러 |
| 결과물 채점 | 완성도 4항목· |
| 이해도 확인 | 과제가 끝난 뒤 질문 5개(라벨· |
| 완성도 분포 | 0~100%, 중앙값 50% |
일을 통째로 맡기면 더 빨리 끝날까?
연구에서는 과제를 통째로 붙여 넣은 사람들의 완성도가 높았다. 계획 단계에서 과제를 한 번에 맡긴 9명은 평균 82%를 완성했다. 반면 과제를 탐색하고 작은 단계로 나눈 5명의 완성도는 18%였다.
하지만 완성도와 타당성은 달랐다. 과제를 통째로 맡긴 사람들의 타당성은 51%였고, 문제를 나눈 사람들은 65%였다. AI에게 구현을 맡긴 13명의 완성도는 68%였지만, 직접 방향을 잡은 6명은 27%였다. 완성도만 보면 맡기는 편이 유리했지만, 결과가 타당한지는 별도로 살펴야 했다.
| 단계 | 일하는 방식 | 인원 | 전문가 비율 | 완성도 | 타당성 |
|---|---|---|---|---|---|
| 계획 | 과제를 통째로 붙여 넣기 | 9명 | 33% | 82% | 51% |
| 계획 | 먼저 질문하기 | 6명 | 17% | 38% | 50% |
| 계획 | 탐색하고 쪼개기 | 5명 | 80% | 18% | 65% |
| 구현 | AI에게 맡기기 | 13명 | 23% | 68% | 52% |
| 구현 | 직접 방향 잡기 | 6명 | 83% | 27% | 62% |
| 검토 | 겉만 훑어보기 | 9명 | 33% | 79% | 52% |
| 검토 | 따져 묻고 고치게 하기 | 4명 | 100% | 16% | 62% |
AI가 스스로 검사하면 오류도 잡아낼까?
AI에게 요구 사항을 모두 충족했는지 스스로 검사하게 해도 문제는 해결되지 않았다. 완성도 100%를 기록한 두 사람도 순환 오류를 놓쳤다. 결과물이 잘 만들어졌는지 확인하는 것과 결과물이 올바른지 검증하는 것은 다른 일이기 때문이다.
모델을 만든 15명 중 11명에게 순환 오류가 있었다. 그 11명 가운데 오류를 알아챈 사람은 한 명도 없었다. 오류를 알아채거나 피한 사람은 데이터과학자 두 명뿐이었다.
| 숨은 오류 관련 숫자 | 값 |
|---|---|
| 모델을 만든 사람 중 순환 오류가 든 결과물 | 15명 중 11명 |
| 그 11명 중 오류를 알아챈 사람 | 0명 |
| 오류를 알아채거나 피한 사람 | 2명(둘 다 데이터과학자) |
| 순환 오류를 못 알아본 비율 | 비전문가 78%, 전문가 67% |
| AI에게 자기 검사를 시켜 완성도 100%를 낸 사람 | 2명(둘 다 오류를 놓침) |
| 한 줄씩 읽으며 검토한 2명의 타당성 점수 | 38% |
| 전문가 이해도 평균 | 51%(비전문가 22%) |
사장님도 AI가 만든 홈페이지 문구나 광고 보고서를 볼 때 비슷한 문제를 겪을 수 있다. 문장이 자연스럽고 숫자가 그럴듯해도 실제 가격이나 매출 자료와 일치한다는 보장은 없다. 특히 설명과 실제 숫자가 맞는지 확인해야 하는 오류는 사람이 직접 검토할 때도 쉽게 놓칠 수 있다.
직접 읽어 보면 틀린 부분을 찾을 수 있을까?
연구진은 AI 없이 결과물을 검토하는 과제에도 오류를 심었다. 자료에서 비교 대상인 미사용자 519행을 빼 버린 오류는 20명 중 14명이 발견했다. 반면 상관관계를 원인처럼 해석한 오류를 찾은 사람은 5명이었다.
더 어려운 오류도 있었다. 코드가 설명과 다르게 작동하는 문제를 발견한 사람은 0명이었다. 결과가 0에 가까운데도 그 사실을 적지 않은 오류 역시 발견한 사람이 0명이었다. 눈에 잘 띄는 실수와 주장, 근거, 실제 계산을 함께 살펴야 찾을 수 있는 실수는 달랐다.
| AI 없이 찾게 한 오류 | 찾은 사람(20명 중) |
|---|---|
| 비교 대상(미사용자 519행)을 자료에서 뺌 | 14명 |
| 지표 하나만으로 결론 냄 | 12명 |
| 집단을 한 기준으로만 나눔 | 12명 |
| 상관관계를 원인처럼 해석 | 5명 |
| 그래프 축이 자동으로 늘어나 차이가 커 보임 | 3명 |
| 코드가 설명과 다르게 작동 | 0명 |
| 결과가 0에 가까운데 그 사실을 안 적음 | 0명 |
이 차이는 홈페이지와 광고 문구를 확인할 때도 중요하다. 가격을 정확히 적었는지만 볼 것이 아니라, 그 가격이 실제 가격표와 일치하는지 확인해야 한다. 광고 성과를 정리했다면 성과가 올랐다는 문장뿐 아니라 실제 수치와 계산 방식도 살펴야 한다.
AI를 믿으면 결과도 더 좋아질까?
연구에서 AI를 더 신뢰한 사람은 결과물에 대한 자신감도 높았다. 두 항목의 상관계수는 +0.68이었다. 그러나 AI에 대한 신뢰와 결과물의 완성도·타당성 사이에는 뚜렷한 관계가 없었다.
사람이 AI를 편하게 느끼는 것과 실제로 좋은 결과를 얻는 것은 별개의 문제다. 결과물이 잘 나왔다고 느끼더라도 그 결과가 왜 맞는지 설명할 수 없다면 검토가 충분했다고 보기 어렵다.
비슷한 결과는 다른 연구에서도 나타났다. 미국 비영리 연구기관 METR의 실험에서는 숙련 개발자 16명이 작업 246건을 수행했다. 개발자들은 AI를 사용하면 시간이 20% 줄었다고 느꼈지만, 실제로는 19% 더 오래 걸렸다.
한국은행은 생성형 AI가 업무시간을 평균 3.8%, 주당 약 1.5시간 줄였다고 분석했다. 하지만 업무시간 감소와 실제 처리량 증가 사이에는 상관관계가 없었다. 시간을 줄이는 것만으로 일의 결과까지 좋아진다고 단정할 수는 없다.
| 항목 | 값 |
|---|---|
| AI 신뢰와 결과물 자신감의 상관계수 | +0.68 |
| AI 신뢰와 몰입의 상관계수 | +0.62 |
| AI 신뢰와 AI 사용 만족의 상관계수 | +0.53 |
| AI 신뢰와 완성도· | 뚜렷한 관계 없음 |
| 말한 개입 수준과 실제 개입 수준의 차이(5단계 척도) | 비전문가 +1.08, 전문가 -0.12 |
| 과제 뒤 스스로 매긴 개입 수준을 바꾼 사람 | 20명 중 4명 |
우리 가게에서는 무엇부터 확인해야 할까?
중소기업중앙회가 소상공인 500곳을 조사한 결과, 디지털·AI 기술을 사용하는 곳은 80.0%였다. 하지만 83.3%는 기초·입문 단계라고 답했다. 주요 활용 분야는 경영지원 54.5%, 고객 응대 31.8%, 마케팅·홍보 21.3%였다.
AI를 활용하는 사장님이라면 다음 기준부터 적용하면 된다.
첫째, 홈페이지 글과 광고 문구를 한 번에 완성해 달라고 하지 말고 단계를 나눠 맡긴다. 먼저 필요한 정보를 정리하고, 초안을 만든 다음, 사실과 표현을 따로 검토한다. 연구에서도 문제를 나눠 살핀 사람들의 타당성이 더 높았다.
둘째, AI가 스스로 검사했다는 말만 믿지 않는다. 완성도 100%를 기록한 사람도 오류를 놓쳤다. 검토 결과가 있다는 사실보다 실제 오류가 없는지가 중요하다.
셋째, 가격·영업시간·매출은 원본과 직접 대조한다. 홈페이지 가격은 실제 가격표와, 매출은 장부나 영수증과 맞춰 본다. 문장만 읽어서는 발견하기 어려운 차이가 있을 수 있다.
넷째, 성과가 지나치게 좋아 보이면 계산 방식을 확인한다. 정확도가 0.90을 넘더라도 실제 예측 기능이 없을 수 있다. 광고 성과가 크게 올랐다는 결과도 어떤 수치를 어떻게 계산했는지 확인해야 한다.
다섯째, 결과물을 다른 사람에게 설명할 수 있는지 스스로 확인한다. 이해도가 높았던 7명의 완성도는 30.4%였고, 이해도가 낮았던 11명은 76.1%였다. 결과물을 많이 만드는 것과 내용을 이해하는 것은 다르다. 세무·법률·의료처럼 잘 모르는 분야의 문구는 전문가에게 확인받아야 한다.
| 할 일 | 근거 숫자 |
|---|---|
| 홈페이지 글· | 쪼갠 사람 타당성 65%, 통째로 붙여 넣은 사람 51% |
| AI에게 「다 됐는지」 스스로 검사시키는 것으로 끝내지 않는다 | 자기 검사로 완성도 100%를 낸 2명 모두 오류를 놓침 |
| 가격· | 주장과 근거를 맞춰 봐야 하는 오류 발견 0~15% |
| 너무 좋아 보이는 결과(성과 급증· | 정확도 0.90 넘게 나온 모델이 아무것도 예측하지 못함 |
| 결과물을 남에게 설명할 수 있는지 스스로 확인한다 | 이해도 높은 7명의 완성도 30.4%, 낮은 11명 76.1% |
| 세무· | 비전문가 이해도 60% 넘은 사람 0명 |
이 연구 결과를 모든 일에 적용해도 될까?
이번 연구는 참가자 20명이 한 회사의 데이터 분석 과제를 수행한 결과다. AI 도구 하나를 사용했고, 과제 시간도 30분으로 제한했다. 연구진도 가설을 세우는 단계의 결과라고 밝혔다. 따라서 이 수치를 모든 소상공인의 홈페이지 제작이나 장부 정리에 그대로 적용할 수는 없다.
홈페이지 글처럼 결과를 눈으로 확인하기 쉬운 일이나 충분한 검토 시간을 확보한 업무에서는 결과가 달라질 수 있다. 한국 소상공인이나 한국어 업무를 직접 조사한 연구도 아니다. 다만 한 가지는 분명하다. 결과물이 완성됐다는 사실만으로 내용까지 정확하다고 판단해서는 안 된다.
AI에게 맡길 일은 맡기되, 사장님이 확인할 기준은 직접 정해야 한다. 고객에게 공개되는 가격과 영업시간, 광고의 성과, 장부의 숫자는 원본과 맞춰 보고, 결과가 나온 이유를 설명할 수 있는지 살펴야 한다. AI를 잘 활용한다는 것은 일을 전부 맡기는 것이 아니라, 맡길 일과 직접 확인할 일을 구분하는 것이다.
요점 ① 과제를 통째로 맡긴 9명의 완성도는 82%였지만, 문제를 나눈 5명은 18%였다. ② 모델을 만든 15명 중 11명에게 숨은 오류가 있었고, 그 11명 중 오류를 알아챈 사람은 0명이었다. ③ 설명과 실제 계산이 다른 오류를 찾은 사람은 20명 중 0명이었고, 결과가 0에 가까운데도 적지 않은 오류 역시 0명이 발견했다. ④ AI 신뢰와 결과물 자신감의 상관계수는 +0.68이었지만, AI 신뢰와 완성도·타당성 사이에는 뚜렷한 관계가 없었다.
같이 읽을 글
자료 출처
- Impact of Expertise and Trust on AI-assisted Work(카네기멜런대·마이크로소프트·arXiv 2610.14660·2026년 10월 제출, 직장인 20명 소리 내어 생각하기 실험)
- 같은 논문 HTML 본문(표 3·4, 그림 7·11, 4장, 부록 C.2 표 8)
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity(METR·arXiv 2507.09089·2025년 7월, 개발자 16명·작업 246건 무작위 실험)
- BOK 이슈노트 제2026-12호 AI 도입은 생산성을 높이는가? 초기 3년의 효과 분석(한국은행·2026년 6월, 가계조사)
- 소상공인 80% 디지털 기술 활용하지만 대부분 기초·입문 단계(아시아경제·2026년 6월 9일, 중소기업중앙회 소상공인 500곳 조사)
- AI 썼더니 업무시간 주 1.5시간 단축…생산성은 그대로였다(한국경제·2026년 6월, 한국은행 이슈노트 보도)
- Use chat in VS Code(마이크로소프트 VS Code 공식 문서, 실험에 쓴 코파일럿 에이전트 기능)
작성일
← 칼럼 목록