판례가 진짜면 AI가 쓴 서면도 믿어도 될까?

판례가 실제로 존재한다고 해서 AI가 그 판례의 내용을 정확하게 옮겼다는 뜻은 아니다. 다른 판례로 바뀐 인용은 AI가 93~100% 잡았지만, 쪽수만 바꾼 인용은 판결문에서 37~61%만 잡았다. 법률사무소가 AI로 서면 초안을 만든다면 판례가 있는지보다 인용한 쪽에 그 내용이 실제로 있는지를 확인해야 한다.

판례가 실제로 있으면 괜찮은 것 아닌가?

그렇지 않다. 판례를 통째로 지어낸 오류는 판례 데이터베이스에서 검색하면 비교적 쉽게 찾을 수 있지만, 실제 판례의 내용을 다르게 옮긴 오류는 다르다. 판례 이름과 권수, 쪽수가 모두 실제와 같으면 검색만으로는 문제가 드러나지 않는다.

2023년 미국 뉴욕에서는 이 문제가 실제 법원 사건으로 나타났다. 항공사 상대 손해배상 소송에서 변호사들이 챗GPT가 만든 서면에 존재하지 않는 판례 6건을 넣었고, 법원은 변호사 2명과 소속 로펌에 5,000달러의 벌금을 부과했다.

AI가 법률자료를 잘못 만드는 사례는 한두 건으로 끝나지 않는다. 데미앙 샤를로탱이 법원 결정을 모아 둔 목록에는 2026년 10월 1일 열람 기준으로 AI가 지어낸 자료에 기대었다고 밝혀졌거나 그렇게 읽히는 결정이 2,097건 올라와 있다.

AI가 판례를 제대로 확인하는지 시험해 봤다

이번 실험은 실제 판례 인용을 일부러 틀리게 바꾼 뒤 AI에게 그 인용이 주장을 뒷받침하는지 물었다. 미국 판결문 2,000건과 변론서면 750건의 인용을 대상으로 했고, 오픈AI·앤스로픽·구글의 모델 13개와 GPT-5.4의 두 설정을 시험했다.

오류는 세 가지로 만들었다. 전혀 다른 판례로 바꾸는 가장 쉬운 방법, 같은 문서 앞부분에 나온 다른 판례로 바꾸는 중간 방법, 판례는 그대로 두고 인용 쪽수만 바꾸는 어려운 방법이다.

쉬운 오류는 AI가 거의 찾아냈다. 하지만 105쪽을 112쪽으로 바꾸는 것처럼 쪽수만 틀리게 만든 경우에는 성능이 크게 떨어졌다.

이 결과가 중요한 이유는 실제 업무에서 판례 이름이 맞는지만 확인해서는 부족하기 때문이다. 같은 판례의 엉뚱한 부분을 근거로 사용하면 검색 결과는 정상처럼 보일 수 있다.

최신 AI나 비싼 AI면 더 잘 잡을까?

최신 모델이라고 해서 문제가 사라지는 것은 아니었다. 판결문에서 쪽수 오류를 잡은 비율은 GPT-4.1이 38.4%, GPT-5가 55.5%였지만, GPT-5.4는 깊이 생각하는 설정을 끄면 48.5%였다.

Claude Opus 4.6은 같은 조건에서 36.5%를 잡아 14개 설정 가운데 가장 낮았다. 반대로 맞는 인용을 틀렸다고 판단하는 오탐률은 4.1%로 가장 낮았다.

GPT-4o는 쪽수 오류를 판결문에서 60.6% 잡았지만 오탐률도 34.9%였다. 오류를 많이 찾는 대신 맞는 인용까지 의심할 수 있다는 뜻이다.

GPT-5.4의 깊이 생각하는 설정에서는 판결문 쪽수 오류 탐지율이 59.8%까지 올라갔다. 그래도 오류 10건 가운데 4건 정도는 그대로 통과시켰다.

AI는 왜 틀린 쪽을 맞다고 할까?

연구진이 GPT-5가 놓친 사례를 살펴보자 문제가 더 분명해진다. 원래 364쪽을 인용한 문장의 쪽수를 371쪽으로 바꿨는데, AI는 371쪽에 해당 내용이 있다고 판단했다.

하지만 371쪽은 애틀랜틱시티 카지노 경쟁을 다루는 부분이었고, AI가 있다고 설명한 문장은 그 쪽에 없었다. AI는 정확한 문장을 확인하기보다 같은 사건과 같은 주제를 다룬다는 사실을 근거로 삼았다.

특히 문제가 되는 것은 AI가 틀린 답을 내놓으면서도 설명을 덧붙인다는 점이다. 실제 판결문에 없는 내용을 두고 「판결문에 명시돼 있다」고 설명하면, 그 설명을 읽는 사람은 원문을 다시 확인할 필요성을 놓치기 쉽다.

질문을 더 엄격하게 하면 나아질까?

연구진은 AI에게 인용문이 실제로 해당 쪽에 있는지 확인하라고 지시했다. 주제가 같다는 이유만으로 맞다고 판단하지 말고, 「명시돼 있다」는 표현도 실제 문장이 있을 때만 사용하라고 했다.

그 결과 쪽수 오류 탐지율은 모든 모델에서 올라갔다. 판결문에서는 9.7~27.8%p, 서면에서는 6.5~35.5%p 높아졌다.

하지만 오탐률도 모든 모델에서 1.0~24.7%p 올라갔다. AI에게 더 엄격하게 확인하라고 하면 틀린 인용을 더 많이 찾는 대신 맞는 인용까지 의심할 수 있다는 뜻이다.

따라서 질문을 잘 만드는 것만으로 검증이 끝나지는 않는다. 연구진도 이 지시문을 오류를 고치는 방법이라기보다, 기존 지시가 쪽 단위 확인을 충분히 끌어내지 못했다는 점을 보여 주는 진단으로 봤다.

그럼 사무실에서는 무엇부터 확인해야 할까?

첫 단계는 판례가 실제로 존재하는지 확인하는 것이다. 이 단계에서는 AI도 다른 판례로 바뀐 인용을 93~100% 잡았지만, 여기서 멈추면 안 된다.

두 번째는 인용한 쪽을 원문으로 직접 확인하는 것이다. 쪽수만 바꾼 오류는 판결문에서 AI가 37~61%만 잡았기 때문에 사람의 확인이 필요하다.

세 번째는 따옴표 안의 문장을 실제 그 쪽에서 찾아보는 것이다. 놓친 사례 가운데 인용문이 있는 경우의 92%는 해당 문장이 그 쪽에 없었는데도 AI가 통과시켰다.

AI가 「명시돼 있다」고 자신 있게 설명할수록 오히려 원문을 확인해야 한다. 놓친 사례의 약 3분의 2에서는 AI가 해당 쪽에 없는 문장을 지어내며 근거를 설명했다.

이 실험은 미국 판례와 영어 문서만 다뤘다는 한계가 있다. 실제 AI가 서면을 작성하다가 만든 오류를 모은 것도 아니고, 법령이나 규칙, 논문 인용은 시험하지 않았다.

한국에서 같은 결과가 나온다고 단정할 수도 없다. 다만 법률사무소가 AI를 사용할 때 판례 존재 여부와 내용 확인을 서로 다른 단계로 나눠야 한다는 점은 분명하게 보여 준다.

법률사무소 홈페이지에 판례를 소개할 때도 원문에서 어느 쪽, 어느 문단이 어떤 내용을 말하는지 함께 적어 두면 사람과 AI가 확인하기 쉬워진다. 다만 그렇게 적어 두면 AI 답에 더 자주 인용된다는 실험 결과는 아직 없다.

같이 읽을 글

• 출처만 붙으면 고객은 더 믿을까?
• 우리 가게 정보도 AI가 지어낼 수 있나?
• 우리 가게 정보를 맡길 AI, 무엇을 믿어야 할까?
• 우리 가게 정보도 AI의 「진짜 출처」 검사를 통과할 수 있을까?

자료 출처

• Is this Citation on Point?(블룸버그·arXiv 2608.12571·2026년 8월·판결문 인용 2,000건·서면 인용 750건·14개 모델 설정)
• Mata v. Avianca, Inc.(미국 뉴욕 남부연방지방법원·2023년 6월·벌금 5,000달러·가짜 판례 6건)
• Practical Lessons from the Attorney AI Missteps in Mata v. Avianca(미국 사내변호사협회 ACC·2023)
• AI Hallucination Cases Database(데미앙 샤를로탱·2026년 10월 1일 열람·2,097건)
• Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools(스탠퍼드 연구진·arXiv 2405.20362·2024년 5월·환각 17~33%)
• 10명 중 6명이 AI로 법률 분야 활용하는데…토종 리걸테크는 변호사법 족쇄(전자신문·오픈서베이·2026년 6월 1일·20~50대 1,008명)
• 생성형 AI 활용 가이드라인 보도자료(대법원·2026년 2월·5단계 검증 체크리스트)