AI가 우리 가게를 설명할 때, 홈페이지 문장을 근거로 짚어 주게 하려면?
근거를 짚어 주자 확인 정확도는 65%에서 77%로 올랐지만, 틀린 답 확인은 70%에 그쳤다
AI가 우리 가게를 소개하면서 홈페이지의 어느 문장을 보고 답했는지 짚어 준다면, 고객은 답을 그냥 믿기보다 직접 확인하기 쉬워진다. 실제 실험에서 근거를 표시하자 답을 맞게 확인한 비율이 65%에서 77%로 올랐다. 다만 틀린 답을 가려낸 비율은 60%에서 70%로 오르는 데 그쳤다.
AI가 근거를 짚어 주면 고객은 더 정확하게 따진다. 짚을 문장이 글자로 있어야 그렇게 된다.
AI가 근거를 짚어 주면 정말 확인하기 쉬워지나?
미국 오번대와 버지니아대 연구진은 AI가 답을 내놓을 때 답 속 숫자를 누르면 실제 근거가 있는 문장으로 내려가 형광펜이 켜지는 크롬 확장 프로그램을 만들었다. 지도나 사진이 근거라면 해당 위치에 상자와 화살표를 표시했다.
실험에는 학생 92명이 참여했고, 한 사람당 약 30분 동안 8개 과제를 풀었다. AI 답이 맞는지 틀리는지를 판단하게 했고, 근거 표시가 있을 때와 없을 때를 모두 경험하게 했다.
| 실험 조건 | 내용 |
|---|---|
| 참가자 | 92명(학부· |
| 과제 | 한 사람당 8개(근거 표시 있음· |
| 찾기 과제 | 10개(글 5· |
| 안내 과제 | 12개(글 6· |
| 답 생성 AI | 구글 제미나이 2.5 플래시· |
근거 표시가 있을 때 전체 확인 정확도는 65%에서 77%로 12%포인트 올랐다. 확인에 걸린 시간도 73초에서 67초로 6초 줄었다.
한 페이지에서 근거를 찾는 과제에서는 화면을 내린 횟수가 6.0회에서 4.6회로 줄었고, 글자를 드래그해 고르는 횟수도 4.2회에서 1.2회로 줄었다. 고객이 근거를 직접 찾느라 하는 손동작도 줄어든 셈이다.
| 나눠 본 기준 | 근거 표시 없음 | 근거 표시 있음 | 차이 |
|---|---|---|---|
| 전체 정확도 | 65% | 77% | +12%p |
| 한 페이지 찾기 | 53% | 62% | +9%p |
| 여러 페이지 안내 | 76% | 88% | +12%p |
| 글로 된 근거 | 67% | 81% | +14%p |
| 그림· | 63% | 74% | +11%p |
| AI 답이 맞을 때 | 71% | 86% | +15%p |
| AI 답이 틀릴 때 | 60% | 70% | +10%p |
그렇다면 근거만 보여 주면 고객이 더 믿을까?
여기서는 조금 조심해서 봐야 한다. 근거 표시의 효과는 「더 믿게 됐다」기보다 「더 정확하게 따져 보게 됐다」에 가깝다.
AI 답이 맞았을 때는 근거 표시로 확인 정확도가 71%에서 86%로 15%포인트 올랐다. 하지만 AI 답이 틀렸을 때는 60%에서 70%로 10%포인트 오르는 데 그쳤다.
즉, 근거가 있다고 해서 틀린 답을 모두 잡아내는 것은 아니다. 틀린 답 열 개 가운데 세 개는 근거 표시가 있어도 그대로 통과했다.
그래서 홈페이지에 근거가 될 문장을 남기는 것만큼, 그 문장이 정확해야 한다. AI가 짚어 준 문장이 예전 가격이나 잘못된 영업시간이라면 고객은 오히려 잘못된 정보를 확인하고 믿을 수 있다.
사진으로 올린 가격표도 괜찮지 않나?
사진을 없애라는 뜻은 아니다. 다만 가격·영업시간·위치처럼 고객이 자주 확인하는 정보는 사진 안에만 두지 말고 글자로도 적어 두는 편이 낫다.
실험에서 글로 된 근거의 확인 정확도는 81%, 그림·지도 근거는 74%였다. 그림 근거는 확인하는 데 78~87초가 걸렸고, 글로 된 근거는 70초였다.
| AI 자체 성적(제미나이 3 플래시) | 답 정확도 | 근거 정밀도 | 근거 재현율 | 근거 F1 |
|---|---|---|---|---|
| 한 페이지 찾기 | 0.70 | 0.70 | 0.60 | 0.65 |
| 여러 페이지 안내 | 0.67 | 0.47 | 0.53 | 0.49 |
AI가 근거를 제대로 짚는 일 자체에도 한계가 있었다. 한 페이지에서 근거를 찾는 경우 AI 답 정확도는 0.70, 정답 근거를 빠짐없이 찾은 비율은 0.60이었다. 여러 페이지를 안내하는 경우에는 답 정확도 0.67, 근거 재현율 0.53으로 더 떨어졌다.
연구진은 그림으로 된 시간표에서 바뀐 영업시간을 AI가 제대로 읽지 못하고 예전 정보를 말할 수 있는 사례를 들었다. 시간표를 사진 한 장으로만 올려 두는 것보다 현재 영업시간을 글자로 함께 적어 두는 편이 고객과 AI 모두에게 확인하기 쉽다.
고객이 실제로 근거 링크를 누르기는 하나?
실제 고객이 AI 답의 출처를 매번 확인한다고 기대할 필요는 없다. 퓨리서치센터가 미국 성인 900명의 2025년 3월 검색 기록 6만 8,879건을 분석한 결과, 구글 AI 요약이 나온 방문에서 요약 안의 출처 링크를 누른 경우는 1%였다.
AI 요약이 나오면 일반 검색 결과를 누르는 비율도 15%에서 8%로 줄었다. AI 요약의 88%가 출처를 세 곳 이상 달았는데도 그랬다.
| 근거를 둘러싼 숫자 | 값 | 조사 |
|---|---|---|
| AI 요약 안 출처 링크 클릭 | 방문의 1% | 퓨, 2025.3, 미국 성인 900명 |
| 일반 결과 클릭(요약 없음→있음) | 15% → 8% | 퓨, 같은 조사 |
| 출처 3곳 이상 단 요약 | 88% | 퓨, 같은 조사 |
| 출처 표시에 심각한 문제가 있는 AI 답 | 31% | EBU· |
| 중대한 문제가 하나 이상 있는 AI 답 | 45% | EBU· |
| 「최종 답 확인이 쉬웠다」 | 89% | 근거 표시 실험, 92명 |
그렇다고 근거가 필요 없다는 뜻은 아니다. 실제로 근거를 확인하는 고객이 적더라도, 예약이나 결제처럼 마지막 확인이 필요한 순간에는 근거가 바로 보이는지가 중요하다.
실험 뒤 설문에서도 한 페이지 찾기를 해 본 참가자의 89%가 근거 표시가 있으니 최종 답을 확인하기 쉬웠다고 답했다. 다만 앞으로도 쓰겠다는 응답은 67%였다.
홈페이지에는 어떤 문장을 남겨야 하나?
첫째, 한 문장에 사실 하나를 담는 것이 좋다. 「주차 가능」이라고만 쓰기보다 「건물 뒤 전용 주차 6대, 2시간 무료」처럼 구체적으로 적으면 AI가 답의 근거로 짚기 쉬운 문장이 된다.
둘째, 가격·시간·위치는 사진과 함께 글자로도 둔다. 「평일 10:00~19:00, 일요일 휴무」처럼 고객이 바로 읽을 수 있는 문장이 있으면 근거가 표시됐을 때 확인하기도 쉽다.
셋째, 바뀌는 정보는 한 곳에서 관리한다. 영업시간이 공지, 소개, 하단에 각각 다르게 남아 있으면 AI가 예전 문장을 근거로 짚을 수 있다.
넷째, 고객이 최신 정보인지 판단할 수 있도록 날짜를 문장 안에 넣는다. 「2026년 가을 기준 가격」처럼 기준 시점을 함께 적으면 근거로 표시됐을 때 고객이 정보의 시점을 바로 확인할 수 있다.
| 홈페이지에 둔 정보 | AI가 짚을 수 있나 | 고객 확인 | |||
|---|---|---|---|---|---|
| 본문 글자 「평일 10:00~19:00, 일요일 휴무」 | 문장 단위로 짚음 | 형광펜으로 바로 확인 | |||
| 표( | 메뉴 | 가격 | ) | 칸 단위로 짚음 | 줄을 찾아 확인 |
| 가격표· | 그림을 읽어야 함(실험상 정확도 −7%p) | 확대해서 직접 읽어야 함 | |||
| 같은 정보를 두 곳에 다르게 씀 | 어느 쪽을 짚을지 갈림 | 틀린 쪽이 근거로 뜰 수 있음 |
홈페이지 문장을 AI가 짚게 만드는 핵심은 무엇인가?
크롬에는 주소 뒤에 특정 문장을 넣으면 해당 문장으로 이동해 형광펜을 켜는 텍스트 조각 링크 기능이 있다. 사이트 주인이 별도의 작업을 하지 않아도 이런 방식으로 특정 문장을 바로 가리킬 수 있다.
조건은 간단하다. 짚을 문장이 페이지에 글자로 있어야 한다. 사진 속 글자는 같은 방식으로 형광펜을 켤 수 없기 때문에, 중요한 정보를 이미지에만 넣어 두지 않는 것이 좋다.
AI가 근거를 보여 주는 방식이 앞으로 주요 AI 검색에 기본으로 들어갈지는 아직 알 수 없다. 다만 지금도 AI는 홈페이지의 문장을 읽고 답의 근거로 활용하고 있고, 고객이 그 문장을 직접 확인하는 기술도 이미 존재한다.
따라서 홈페이지를 AI가 읽기 좋게 만든다는 말은 어려운 작업부터 시작한다는 뜻이 아니다. 고객이 물어볼 만한 사실을 정확한 문장으로 적고, 가격·시간·위치처럼 자주 바뀌는 정보는 글자로 분명하게 남기는 것부터 시작하면 된다.
① 근거 표시가 있으면 전체 확인 정확도 65→77%, 확인 시간 73→67초 ② 틀린 답 확인은 60→70%로 올라 열 개 중 세 개는 놓침 ③ 그림·지도 근거는 74%로 글 근거 81%보다 7%p 낮음 ④ AI 요약 출처 클릭은 방문의 1% — 그래도 짚을 근거 문장은 정확한 글자로 남겨야 함
같이 읽을 글
- 우리 홈페이지가 AI 보고서에 쓰였는데, 왜 출처에는 안 나올까?
- AI 요약에 밑줄이 늘면 고객도 더 많이 올까?
- 홈페이지 가격표, AI가 제대로 읽을까요?
- AI가 우리 가게 글을 찾으면 답에도 써 줄까?
자료 출처
- PageGuide: Browser extension to assist users in navigating a webpage and locating information(오번대·버지니아대, arXiv 2604.23772, 2026.4 제출·v5 2026.9, 참가자 92명)
- Google users are less likely to click on links when an AI summary appears in the results(퓨리서치센터, 2025.7, 미국 성인 900명·검색 6만 8,879건)
- AI's systemic distortion of news is consistent across languages and territories(EBU·BBC, 2025.10, 18개국 22개 공영방송·응답 3,000여 건)
- Intent to Ship: Scroll To Text Fragment(크롬 블링크 개발 공개 논의, 구글 검색 강조 스니펫 시험 언급)
- Scroll to text fragments 문법 정리(사이먼 윌리슨, 개인 기술 노트 — 문법 사실만 참고)
작성일
← 칼럼 목록