챗봇 붙이기 전에 개인정보 점검, AI에게 맡겨도 될까요?

AI에게 개인정보 점검을 맡길 수는 있다. 하지만 AI가 찾은 위험만 보고 상담 챗봇이나 예약폼을 열면 빠지는 항목이 생길 수 있다. 특히 고객이 자신의 정보를 열람·정정하거나 이의를 제기하는 방법은 사람이 따로 확인해야 한다.

개인정보 점검은 원래 어떤 일인가요?

개인정보 영향평가는 개인정보를 모으는 시스템을 열기 전에 위험을 찾아 막는 절차다. 한국에서는 공공기관에 의무이며, 일정 규모 이상의 개인정보 파일이 대상이다.

공공기관은 정보주체 100만 명 이상, 다른 파일과 연계해 50만 명 이상, 민감정보·고유식별정보를 다루는 5만 명 이상 가운데 하나에 해당하면 평가를 해야 한다. 민간은 의무가 아니지만, 자율적으로 평가했다면 나중에 과징금 1차 조정 금액에서 최대 30%를 추가로 감경받을 수 있다.

작은 사업장은 개인정보를 따로 맡을 사람이 없는 경우가 많다. 2024년 조사에서 민간기업의 보호조치 이행률은 59.9%였고, 300인 이상 기업은 90.8%였다.

민간기업 개인정보 보호책임자 가운데 교육을 받은 비율은 5.2%였다. 규모가 작은 사업장에서는 개인정보 점검을 따로 맡기 어려운 상황을 확인할 수 있다.

AI에게 맡기면 위험을 얼마나 찾나요?

에든버러대와 카네기멜런대 연구진은 실제 미국 연방기관의 개인정보 영향평가를 이용해 이 문제를 시험했다. 공개된 영향평가 499건 가운데 시스템 설명과 위험 분석이 분리된 73건을 골랐다.

이 73건에는 전문가가 적은 위험 451개와 대응책 831개가 있었다. 연구진은 이 내용을 기준으로 AI가 위험과 대응책을 얼마나 찾아내는지 비교했다.

시험에는 공개 모델 4종과 유료 모델 1종이 사용됐다. GPT-5.4 mini, Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B, DeepSeek-R1-Distill-14B를 각각 단계별 생각을 지시한 경우와 그렇지 않은 경우로 시험했다.

가장 높은 위험 F1은 GPT-5.4 mini의 0.397이었다. 위험 재현율은 0.42였으므로 전문가가 적어 놓은 위험 10개 가운데 4개 남짓을 찾은 수준이다.

연구진은 현재 AI가 공식 개인정보 영향평가를 자동으로 해낼 수준은 아니라고 결론 내렸다. 따라서 AI가 작성한 결과를 최종 점검표처럼 사용하는 것과 초안을 만드는 데 사용하는 것은 구분할 필요가 있다.

AI 모델을 키우거나 차근차근 생각하게 하면 좋아지나요?

모델을 크게 하면 일부 조건에서는 점수가 올랐다. Qwen2.5를 7B에서 14B로 키웠을 때 지시 없이 시험한 위험 F1은 0.100, 대응책 F1은 0.066 올랐다.

하지만 단계별 생각을 지시했을 때는 차이가 각각 0.028과 0.019로 줄었다. 모델에 따라 단계별 생각 지시가 점수를 올리기도 하고 내리기도 했다.

대응책을 찾는 일은 위험을 찾는 일보다 상대적으로 쉬웠다. 모든 조건에서 대응책 F1이 위험 F1보다 같거나 높았고, 평균은 대응책 0.363, 위험 0.321이었다.

암호화나 접근 제한 같은 대응책은 여러 문서에서 반복해서 나오지만 위험은 시스템마다 달라지기 때문으로 볼 수 있다. 다만 읽기 쉬움에서는 AI 결과도 대부분 어려운 수준이었다.

AI가 특히 자주 놓치는 위험은 무엇인가요?

보안 침해와 무단 접근은 전체 위험의 34.8%를 차지했다. AI가 이 위험을 놓친 비율은 30.5%였다.

반면 고객이 자신의 정보를 열람·정정하거나 이의를 제기하기 어려운 위험은 AI가 91.2%를 놓쳤다. 해킹처럼 잘 알려진 보안 문제보다 고객 권리와 시스템 운영 방식에서 생기는 위험을 더 많이 빠뜨린 셈이다.

한국에서도 정보주체의 권리 행사를 실제로 접한 경험은 많지 않았다. 2024년 조사에서 정보주체의 권리 행사 요청을 받아 본 경험은 공공기관 22.3%, 민간기업 1.5%였다.

상담봇이나 예약폼을 만들 때도 고객이 자신의 정보를 확인하거나 수정하고 삭제를 요청할 경로를 미리 적어 두는 것이 중요하다. 이 부분은 AI 결과만 보고 넘어가기보다 사람이 직접 확인해야 한다.

상담봇이나 예약폼을 만들 때 무엇부터 적으면 되나요?

먼저 시스템의 기본 정보를 정리하면 된다. 연구진은 영향평가 틀에서 맥락, 목적, 법적 근거, 정보 종류, 처리 작업, 받는 곳, 보관 기간, 자산의 8가지 항목을 사용했다.

사장님도 이 항목을 먼저 채운 뒤 AI에게 위험을 찾아 달라고 할 수 있다. 다만 목적과 법적 근거, 받는 곳, 보관 기간은 실제 서비스 운영 방식과 계약 내용을 확인해야 한다.

예를 들어 상담봇을 통해 이름과 연락처만 받는지, 증상이나 사진처럼 민감한 내용을 받는지부터 적어야 한다. 고객과 나눈 대화가 챗봇 업체 서버로 넘어가는지도 확인해야 한다.

예약 플랫폼이나 문자 발송 업체, AI 업체가 정보를 받는다면 실제 계약 내용을 확인해야 한다. 예약이 끝난 뒤 언제 정보를 지울지도 사람이 정해야 한다.

특히 고객 권리는 별도로 확인해야 한다. 고객이 자신의 정보를 열람·수정·삭제해 달라고 요청할 때 어디로 요청하는지 정해져 있는지 확인해야 한다.

개인정보 사고가 늘고 있다는 점도 봐야 하나요?

개인정보 유출 신고는 2025년에 447건이었다. 2024년 307건에서 45.6% 늘었다.

원인은 해킹 62%, 업무 과실 25%, 시스템 오류 5% 순이었다. 업무 과실처럼 점검 과정에서 줄일 수 있는 부분도 있다.

다만 이번 AI 시험 결과를 동네 가게의 상담봇이나 예약폼에 그대로 적용해서는 안 된다. 연구에 사용된 자료는 미국 연방기관의 영향평가이고, 전체 499건 가운데 구조가 깔끔한 73건만 분석했다.

한국 법에서 따로 확인해야 하는 항목도 이 시험에서 재지 않았다. 동네 가게의 예약폼은 미국 연방기관 시스템보다 단순할 수 있지만, AI가 더 많은 위험을 찾을 것이라고 단정할 근거는 없다.

결국 AI에게 점검 초안을 맡기는 것은 가능하다. 하지만 AI가 찾아낸 위험 목록을 최종 확인표로 생각하면 안 된다.

상담봇과 예약폼을 열기 전에는 고객이 어떤 정보를 주는지, 어디로 넘어가는지, 얼마나 보관하는지, 고객이 자신의 정보를 어떻게 확인하고 고칠 수 있는지를 사람이 확인해야 한다.

같이 읽을 글

• AI가 한 말을 그대로 믿어도 될까?
• 작은 가게도 비싼 AI를 써야 할까?
• AI 순위표 1등이면 믿고 써도 될까?
• 우리 가게 챗봇도 15~27%씩 틀릴까?

자료 출처

• PIA-Bench: Towards Automated Privacy Impact Assessment with Large Language Models(에든버러대·카네기멜런대, arXiv 2609.12571, 2026.9, 미국 연방 기관 영향평가 499건 중 73건·위험 451·대응책 831·모델 5종)
• 개인정보위, 개인정보 영향평가 수행 돕는다(개인정보보호위원회, 2024.4, 의무 대상 기준·민간 자율 평가 최대 30% 감경)
• 개인정보보호 인식 높아졌지만 민간 보호조치 여전히 미흡(데일리시큐, 2025.3, 개인정보위 2024년 개인정보보호 및 활용조사)
• 지난해 개인정보 유출 신고 46% 급증(국민일보, 2026.5.15, 개인정보위·KISA 2025년 유출 신고 447건 분석)
• 개인정보위, 생성형 AI 개발·활용 「개인정보 처리 기준」 공개(정책브리핑, 2025.8, 생애주기 4단계 안전조치)