인용됐는데 왜 답변에는 안 나올까?

AI가 홈페이지를 인용하는 것과 내용을 실제 답변에 쓰는 것은 다르다

홈페이지가 챗GPT 인용 목록에 떴다고 해서 고객에게 그 내용이 전달된 것은 아니다. 인용된 페이지가 실제 답변 문장을 만드는 데 얼마나 쓰였는지는 별도로 봐야 한다. 조사에서도 챗GPT의 평균 영향력 점수는 0.2713이었고, 구글 AI 개요와 퍼플렉시티는 각각 0.0584와 0.0646이었다.

인용은 검색에서 페이지를 고르는 일이고, 흡수는 그 페이지의 내용이 실제 답변 문장에 쓰이는 일이다.

인용됐으면 답변에도 나오는 것 아닌가?

그렇지 않다. 이번 조사는 같은 602개 질문을 챗GPT, 구글 AI 개요, 퍼플렉시티에 던지고, 어떤 페이지가 인용됐는지와 그 페이지의 내용이 최종 답변에 얼마나 반영됐는지를 따로 측정했다.

검색 자체는 거의 항상 일어났다. 검색 유발 비율은 챗GPT 98.64%, 구글 AI 개요 99.67%, 퍼플렉시티 100%였다. 하지만 검색한 페이지를 답변에 깊게 쓰는 정도는 플랫폼마다 달랐다.

플랫폼평균 인용 수(건)검색 유발 비율
챗GPT6.8898.64%
구글 AI 개요12.0699.67%
퍼플렉시티16.35100.00%

이 차이를 이해하려면 「인용 선택」과 「인용 흡수」를 나눠서 봐야 한다. 인용 선택은 여러 페이지 가운데 답변에 참고할 페이지를 고르는 단계이고, 인용 흡수는 그 페이지의 문장이나 수치, 설명이 실제 답변을 만드는 데 얼마나 사용됐는지를 보는 단계다.

많이 인용되면 더 잘 쓰이는 것 아닌가?

인용 개수와 실제 활용 정도는 같은 방향으로 움직이지 않았다. 평균 인용 수만 보면 퍼플렉시티가 16.35건, 구글 AI 개요가 12.06건으로 챗GPT의 6.88건보다 많았다.

그런데 영향력 점수는 챗GPT가 0.2713으로 가장 높았다. 구글 AI 개요는 0.0584, 퍼플렉시티는 0.0646이었다. 많이 고르는 것과 깊게 쓰는 것은 별개의 문제라는 뜻이다.

플랫폼평균 인용 수(선택)평균 영향력 점수(흡수, 0~1)중앙값
챗GPT6.88건0.27130.2611
구글 AI 개요12.06건0.05840.0515
퍼플렉시티16.35건0.06460.0333

동네 가게 홈페이지에서도 이 차이는 중요하다. 홈페이지가 인용 목록에 들어갔다는 사실만 확인하면 「AI가 우리 글을 읽었다」고 생각하기 쉽다. 하지만 실제 답변에 가격, 시간, 서비스 설명 같은 내용이 들어갔는지는 따로 확인해야 한다.

어떤 글이 인용되고도 실제 답변에서 빠질까?

조사에서는 흡수 점수가 높은 상위 25% 페이지와 낮은 하위 25% 페이지의 특성을 비교했다. 상위 페이지는 하위 페이지보다 단어 수가 11.44배, 제목 수가 12.50배, 단락 수가 5.69배, 목록 밀도가 8.94배 많았다.

답변과의 의미 유사도도 2.31배 높았다. 검색 단계에서 페이지가 후보로 선택되는 것만으로는 충분하지 않고, 답변에 활용할 만한 구체적인 내용이 페이지 안에 있어야 한다는 결과다.

페이지 특성(상위 25% ÷ 하위 25%)배율
단어 수11.44배
제목(헤딩) 수12.50배
단락 수5.69배
목록(리스트) 밀도8.94배
답변과의 의미 유사도2.31배

정의, 통계, 비교, 절차적 단계를 담은 페이지도 그렇지 않은 페이지보다 평균 41~77% 더 높은 영향력 점수를 받았다. 글의 양만 늘리는 것이 아니라 고객이 실제로 궁금해할 정보를 명확하게 설명하는 것이 중요하다는 뜻이다.

어떤 문장이 실제 답변에 잘 쓰일까?

조사는 답변 안에서 같은 인용이 반복되는 정도, 답변 앞부분에 등장하는지, 문단을 얼마나 커버하는지, 단어 유사도, 문구 겹침을 이용해 흡수 점수를 계산했다. 다섯 요소 가운데 단어 유사도가 25%로 가장 큰 비중을 차지했고, 인용 반복 횟수와 문단 커버리지는 각각 20%, 문구 겹침은 20%, 답변 앞부분 등장은 15%였다.

흡수 점수 계산 요소비중
인용 반복 횟수(최대 3회)20%
답변 앞부분 등장15%
문단 커버리지20%
단어 유사도(TF-IDF)25%
문구 겹침(n-gram)20%

특히 답변 문장과 인용 문장의 의미 임베딩 유사도가 흡수와 가장 강하게 연결된 지표였고, 상관계수는 0.3561이었다. 페이지의 형식만 바꾸는 것보다 답변에 필요한 내용과 페이지의 내용이 정확하게 연결되는 것이 더 중요하다는 결과다.

문장 역할을 보면 차이가 더 분명하다. 「무엇인지」를 설명하는 정의의 영향력 점수는 0.1531, 다른 것과 차이를 설명하는 비교는 0.1524였다. 통계나 근거를 담은 증거는 0.1235였고, 단순 참고·나열은 0.0529로 가장 낮았다.

문장 역할영향력 점수
정의(무엇인지 설명)0.1531
비교(다른 것과 차이)0.1524
증거(통계·근거)0.1235
단순 참고·나열0.0529

질문과 답변 형식으로 쓰면 더 잘 쓰일까?

꼭 그렇지는 않았다. 조사에서 질문-답변 형식을 사용한 페이지의 평균 흡수 점수는 0.0947이었다. 질문-답변 형식을 사용하지 않은 페이지는 0.1005로 오히려 5.74% 높았다.

따라서 홈페이지 글을 억지로 질문과 답변 형태로 바꾸는 것만으로는 충분하지 않다. 중요한 것은 고객이 묻는 내용에 맞는 정확한 정의, 비교, 통계와 근거가 페이지 안에 실제로 들어 있는지다.

그럼 인용되는 것 자체는 의미가 없나?

그렇지는 않다. 인용 선택과 인용 흡수는 서로 다른 단계이기 때문에 둘을 따로 봐야 한다는 것이 핵심이다. 인용 목록에 들어갔다는 것은 해당 페이지가 검색 과정에서 선택됐다는 뜻이고, 실제 답변에 내용이 반영됐는지는 또 다른 결과다.

다른 조사에서도 AI 인용과 연결되는 신호를 살펴본 결과가 있다. 에이치레프스가 75,000개 브랜드를 조사한 결과, 웹 전체의 브랜드 언급 상관계수는 0.664, 추천 도메인 수인 백링크는 0.218, 유튜브 언급은 0.737이었다.

신호(에이치레프스 75,000개 브랜드)상관계수
브랜드 언급(웹 전체)0.664
백링크(추천 도메인 수)0.218
유튜브 언급0.737

다만 이 수치는 인용 선택과 관련된 신호를 보여주는 것이며, 특정 페이지의 내용이 실제 답변에 흡수되는 정도를 보장하는 수치는 아니다. 결국 홈페이지를 운영할 때는 「우리 페이지가 인용됐는가」와 함께 「우리 페이지의 내용이 답변에 실제로 쓰였는가」를 나눠서 봐야 한다.

요점 ① 챗GPT는 평균 6.88건을 인용하고 영향력 점수 0.2713을 기록했다 ② 흡수 상위 페이지는 하위 페이지보다 단어 수 11.44배, 제목 수 12.50배 많았다 ③ 정의 0.1531, 비교 0.1524로 영향력이 높았고 단순 참고·나열은 0.0529였다 ④ 의미 유사도의 상관계수는 0.3561이었고 Q&A 형식의 흡수 점수는 0.0947로 5.74% 낮았다

같이 읽을 글

자료 출처

작성일

#측정 #인용흡수 #GEO #콘텐츠구조

← 칼럼 목록
무료로 신청하기→