AI는 우리 홈페이지의 경력도 믿을까?
거짓 문서 하나가 AI 조사 결과를 바꿀 수 있다
AI 조사 도구가 업체를 대신 알아보는 일이 늘고 있다. 그런데 거짓 문서 하나만 섞어도 잘못된 결론을 내리는 비율이 평균 54.7%까지 올라간 실험이 있다. 특히 검색 결과의 위치보다 논문처럼 보이는 형식과 권위 있어 보이는 기관 이름이 더 크게 작용했다.
AI에게 중요한 것은 경력을 그럴듯하게 꾸미는 일이 아니라, 실제 경력과 자격을 확인할 수 있게 만드는 일이다.
거짓 글 하나만 있어도 AI가 속을까?
베이징우전대학과 상하이 인공지능연구소 연구진이 이 문제를 실험했다. 딥리서치 방식의 AI는 질문을 받은 뒤 여러 자료를 찾고, 중간 분석을 쌓아 긴 보고서를 만든다. 연구진은 이 과정에 사람이 미리 틀린 것으로 확인한 결론을 뒷받침하는 거짓 문서를 섞었다.
거짓 문서는 실제 인터넷에 올린 것이 아니었다. 실험용 검색 범위 안에 넣었다. 공개 평가 세트에서 고른 100개 과제를 대상으로 했고, 거짓 문서는 5,933건까지 걸러졌다. 문서 하나만 따로 보여 주면 AI 검증기 5개가 모두 거짓이라고 판정한 문서였다.
그런데 긴 조사 과정에 섞자 결과가 달라졌다. 공개 도구 6개 조합의 평균은 거짓 문서가 없을 때 0%였지만, 1개만 넣어도 54.7%가 거짓 결론을 자기 결론으로 받아들였다.
| 넣은 거짓 문서 수 | 공개 도구 6개 조합 평균 | 제미나이 딥리서치 |
|---|---|---|
| 0개(넣지 않음) | 0% | — |
| 1개 | 54.7% | 27% |
| 2개 | 59.5% | — |
| 3개 | 61.0% | 54% |
| 4개 | 60.3% | 50~56% |
| 5개 | 58.3% | 50~56% |
공개 도구에서는 거짓 문서를 5개까지 늘려도 평균은 크게 더 오르지 않았다. 1개만으로도 이미 영향을 줄 수 있다는 뜻이다. 제미나이 딥리서치는 1개일 때 27%였고 3개에서는 54%였다.
그럼 AI는 무엇을 보고 믿을까?
이번 실험에서 눈에 띄는 것은 문서의 겉모양이었다. 공개 도구에서 논문 형식의 거짓 문서는 61.0%가 결론에 받아들여졌다. SNS 게시글 형식은 37.5%였다. 두 형식의 차이는 23.5%p였다.
기관 이름도 영향을 줬다. 권위 높은 기관 이름을 붙인 거짓 문서는 61.0%, 권위 낮은 기관 이름을 붙인 문서는 46.2%였다. 기관 권위에 따른 차이는 14.8%p였다.
제미나이 딥리서치는 기관 이름에 더 큰 차이를 보였다. 권위 낮은 기관 이름을 붙인 거짓 문서는 8%, 높은 기관 이름을 붙인 문서는 54%였다.
| 조건 | 공개 도구 6개 조합 평균 | 제미나이 딥리서치 |
|---|---|---|
| 권위 높은 기관 | 61.0% | 54% |
| 권위 중간 기관 | 57.7% | 46% |
| 권위 낮은 기관 | 46.2% | 8% |
| 논문 형식 | 61.0% | 54% |
| 블로그 형식 | 53.0% | 41% |
| 뉴스 형식 | 44.0% | 34% |
| SNS 게시글 형식 | 37.5% | 28% |
이 결과를 동네 가게 홈페이지에 그대로 적용해 실제 AI가 똑같이 반응한다고 단정할 수는 없다. 다만 AI가 글의 내용만 보는 것은 아니라는 점은 주의할 필요가 있다.
검색 결과 앞에 있으면 더 잘 믿을까?
검색 결과에서 몇 번째에 나왔는지는 생각보다 큰 차이를 만들지 않았다. 앞쪽, 중간, 뒤쪽의 거짓 문서 채택률 차이는 평균 1.7%p였다. 어느 조합도 6%p를 넘지 않았다.
대신 언제 들어갔는지는 큰 차이를 보였다. 조사 시작 전에 들어간 거짓 문서의 채택률은 40.5%였지만, 최종 정리 직전에 들어간 문서는 85.5%였다.
| 넣은 위치· | 거짓 결론 채택률(평균) |
|---|---|
| 검색 결과 앞쪽 | 66.2% |
| 검색 결과 곳곳에 섞음 | 65.5% |
| 검색 결과 뒤쪽 | 64.5% |
| 조사 시작 전 | 40.5% |
| 자료 모으는 도중 | 44.2% |
| 최종 정리 직전 | 85.5% (조합별 77~94%) |
연구진은 거짓 문서가 일찍 들어가면 뒤이어 찾은 다른 자료가 그 내용을 밀어낼 기회가 있다고 해석했다. 반대로 마지막 정리 직전에 들어가면 다른 자료가 바로잡을 시간이 적다.
도구에 따라서도 차이가 있었다. 같은 조건에서 DeerFlow의 평균은 67.0%, WebThinker는 55.0%였다. 조합별 결과도 50~76%로 달랐다. 모델 성능 점수가 높다고 항상 덜 속은 것도 아니었다.
홈페이지 경력과 자격은 어떻게 적어야 할까?
여기서 사장님 홈페이지를 생각해 볼 필요가 있다. 대표 이름, 경력, 자격, 면허, 인증 같은 정보는 AI가 업체를 설명할 때 참고할 수 있는 자료가 된다.
그렇다고 경력을 더 좋아 보이게 쓰거나, 없는 자격을 만들어 넣어서는 안 된다. 신뢰 표시의 핵심은 꾸미는 것이 아니라 확인할 수 있게 만드는 것이다.
대표나 작성자의 이름은 실제 이름을 쓰고 담당 분야와 경력 연수를 사실대로 적는 것이 좋다. 자격·면허·인증은 번호와 발급 기관, 조회할 수 있는 링크를 함께 두는 방식이 적합하다.
| 신뢰 표시 | 확인 가능하게 쓰는 법 | 근거 |
|---|---|---|
| 대표· | 이름과 담당 분야, 경력 연수를 실제대로 쓴다 | 구글: 작성자 표시 권장, 가짜 자격은 기만 |
| 자격· | 번호와 발급 기관, 조회 링크를 같이 단다 | 실험: 기관 이름만으로도 채택률 46.2→61.0% |
| 가격· | 기준(시기· | 실험: 논문형 정리 61.0% vs 게시글 37.5% |
| 후기· | 대가를 받았으면 첫머리에 밝힌다 | 공정위 추천· |
| 틀린 외부 글 | 사실과 다르다는 정정문을 홈페이지에 날짜· | 실험: 반박 자료가 일찍 있으면 채택률이 낮았음(조사 시작 전 40.5% vs 정리 직전 85.5%) |
구글도 누가 글을 썼는지 분명하게 밝히는 것을 권한다. 지어낸 이름이나 가짜 자격, AI로 만든 프로필 사진은 기만이자 품질이 낮다는 신호가 될 수 있다.
후기나 협찬도 마찬가지다. 대가를 받았다면 경제적 이해관계를 제목이나 글 첫 부분에서 밝혀야 한다. 공정위는 추천·보증 심사지침을 개정해 이런 표시 기준을 다뤘다.
우리 업종에 틀린 글이 이미 있다면?
문제는 우리 홈페이지가 아닌 외부 글에도 있다. 업체나 업종에 관한 틀린 내용이 논문이나 기관 보고서처럼 꾸며져 있으면 AI 조사 과정에서 자료로 사용될 수 있다.
국내에서도 허위·부당 광고가 계속 적발되고 있다. 식약처가 적발한 온라인 식품·의약품 허위·부당 광고는 2021년 5만 8,782건에서 2024년 9만 6,726건으로 늘었다. 국회 의원실이 유튜브에서 찾은 AI 가짜 의사·전문가 광고 제품 25건 중 식약처 적발 목록에 오른 것은 0건이었다.
외부에 틀린 글이 있다면 사실과 다르다는 정정문을 홈페이지에 남기는 방법도 생각할 수 있다. 날짜와 근거를 함께 적어 두면 나중에 확인할 자료가 생긴다.
다만 반박 자료를 올리면 AI가 반드시 덜 속는다고 단정할 수는 없다. 이번 실험에서 자료가 일찍 들어간 경우와 마지막에 들어간 경우의 차이를 보고 그렇게 추론할 수 있을 뿐, 연구진이 반박 자료 자체를 직접 시험한 것은 아니다.
검증하라고 시키면 해결될까?
검증 지시나 재검증을 붙이면 거짓 결론 채택률은 낮아졌다. 하지만 0%가 되지는 않았다.
| DeerFlow 방어 방식 | 거짓 결론 채택률(모델 3개 범위) |
|---|---|
| 방어 없음 | 60~76% |
| 조사 전 「근거를 검증하라」 지시 | 37~57% |
| 조사 후 문장별 재검증 AI | 20~58% |
| 둘 다 | 15~62% |
재검증 AI가 같은 자료 더미를 다시 검색하면서 거짓 문서를 다시 집어 들었기 때문이다. 한 모델에서는 두 방어 방법을 함께 썼을 때도 62%가 남았다. 검증을 한 번 더 붙인다고 문제가 사라지는 것은 아니다.
이번 연구에는 한계도 있다. 거짓 문서는 실제 인터넷이 아니라 실험용 검색 범위에 넣었고, 과제 100개도 연구·지식 위주였다. 동네 가게 정보를 묻는 질문을 대상으로 한 실험은 아니었다.
또 공개 도구는 2종, 모델은 중국계 3개였고 상용 서비스는 제미나이 1개만 시험했다. 챗GPT 딥리서치는 포함되지 않았다. 거짓 문서를 AI가 만들었고 채점도 AI가 했지만, 사람 판정과의 일치율은 99.7%였다.
다른 연구팀의 비슷한 평가에서도 오해를 부르는 문서 하나를 넣자 정답률이 66~88%p 떨어지는 결과가 나왔다. 연구마다 조건은 다르지만, 조사 과정에 들어간 자료가 AI의 판단에 영향을 줄 수 있다는 점은 함께 볼 필요가 있다.
결국 홈페이지의 경력과 자격 표시는 AI를 속이기 위한 장식이 아니다. 실제 이름과 경력, 자격 번호, 발급 기관, 확인 링크처럼 사람이 확인할 수 있는 정보를 정확하게 적어 두는 것이 중요하다.
요점 ① 거짓 문서 1개만 넣어도 공개 AI 조사 도구의 거짓 결론 채택률이 0%에서 평균 54.7%로 올랐다. ② 논문 형식 61.0%와 SNS 게시글 37.5%의 차이는 23.5%p였고, 기관 권위 차이는 14.8%p였다. ③ 검색 순위에 따른 차이는 평균 1.7%p였지만, 최종 정리 직전에 들어간 거짓 문서는 85.5%가 결론에 쓰였다. ④ 식약처가 적발한 온라인 식품·의약품 허위·부당 광고는 2024년 9만 6,726건이며, 홈페이지 신뢰 표시는 번호·기관·링크로 확인할 수 있게 해야 한다.
같이 읽을 글
- 같은 글을 여러 곳에 올리면 AI가 더 믿을까?
- AI는 우리 가게 글을 정말 다 읽을까?
- 홈페이지 숫자를 예쁘게 넣으면 AI가 더 믿어 줄까?
- 협찬 글을 인용하면 AI가 고객에게 알려줄까?
자료 출처
- Is Deep Research Reliable? Misleading Knowledge Induces False Conclusions(베이징우전대·상하이 인공지능연구소, arXiv 2607.20891, 2026.7, 과제 100개·거짓 문서 5,933건·공개 도구 6개 조합+제미나이 딥리서치)
- 같은 논문 HTML 본문(제미나이 결과·방어 실험·사람 판정 일치율 99.7%, 보고서 300건)
- MisKnow-Agent 공개 코드(연구진 깃허브)
- Misleading_Knowledge 공개 데이터셋(연구진 허깅페이스)
- DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments(Nie 외, arXiv 2607.17291, 2026.7, 과제 100개)
- 유용하고 신뢰할 수 있는 사람 중심 콘텐츠 만들기(구글 검색 센터 공식 문서, 작성자 표시·가짜 자격 기만 언급)
- Google reiterates guidance on AI-generated content(서치엔진랜드, 누가·어떻게·왜 기준 해설)
- 공정위, 추천·보증 등에 관한 표시·광고 심사지침 개정안 행정예고(뉴스서울, 2024.8, 경제적 이해관계 제목·첫 부분 공개)
- AI 가짜 전문가 광고 관련 보도(메디게이트뉴스, 2025.10, 식약처 허위·부당 광고 적발 2021년 5만 8,782건→2024년 9만 6,726건, 의원실 확인 25건 중 적발 0건)
작성일
← 칼럼 목록