고객이 AI에 뭘 물을지 몰라도 글을 고칠 수 있나?

질문 목록 대신 홈페이지 글에서 빠진 이웃 개념을 찾아 한 문장씩 보탠 실험

고객이 AI에 어떤 질문을 할지 몰라도 홈페이지 글에서 빠진 내용을 찾아 보완하는 방법이 있다. 새너제이주립대 연구에서는 글에 빠진 이웃 개념을 한 문장씩 보탰더니 AI 답에서 인용되는 비율이 65.7%에서 72.6%로 올랐다. 다만 모든 질문에서 좋아진 것은 아니며, 같은 뜻을 다섯 가지로 물었을 때 모두 나아지거나 같았던 글은 22.2%였다.

질문을 미리 몰라도 홈페이지 글의 빈칸을 찾아 채우는 방식은 AI 답에 인용될 가능성을 높일 수 있다.

고객이 뭘 물을지 모르는데 어떻게 글을 고치나

기존 GEO 실험은 대체로 「이 질문에 맞춰 글을 고친다」는 방식이었다. 이번 연구는 반대로 질문이 아니라 글 자체에서 출발한다. 홈페이지에 적힌 내용을 살펴보고, 글과 가까운 개념 가운데 빠진 것을 찾아 넣는 방식이다.

과정은 복잡하지 않다. 글에서 낱말 사이의 관계를 뽑고, 그 낱말을 공개 지식 그래프에 연결한 뒤 바로 옆에 있는 개념을 찾는다. 그중 글에 이미 있는 내용은 빼고, 글 여러 곳에서 함께 가리키는 개념을 우선해 한 문장을 덧붙인다.

단계하는 일쉬운 예(연구진 예시가 아닌 설명용)
1. 관계 뽑기글에서 「무엇–어떤 관계–무엇」을 뽑는다「이 식당–위치–성수동」
2. 지식 그래프에 잇기뽑은 낱말을 공개 지식 그래프 항목에 연결한다「성수동」 항목
3. 한 걸음 넓히기연결된 항목의 바로 옆 개념만 가져온다「성수동–가까운 역」
4. 빠진 것 고르기글에 이미 있는 내용은 빼고, 글 여러 곳이 함께 가리키는 개념을 앞에 둔다역 이름이 글에 없으면 후보
5. 한 문장 보태기관련 문장 옆에 짧은 문장을 덧붙이고 나머지는 그대로 둔다「○○역에서 걸어서 5분」

여기서 중요한 제한이 있다. 글을 크게 다시 쓰지 않고 기준 문장 옆에 짧은 문장을 붙인다. 또 한 걸음 떨어진 개념까지만 넓혀서 엉뚱한 내용이 들어가는 것을 막는다.

빠진 개념을 고를 때도 두 번 확인한다. 같은 관계가 이미 글에 있으면 제외하고, 낱말은 달라도 같은 뜻의 내용이 있으면 다시 제외한다. 남은 후보 중에서는 글의 여러 낱말이 함께 가리키는 개념과 자주 나오는 중심 낱말에서 나온 개념을 앞에 둔다.

실제로 얼마나 좋아졌나

연구진은 질문 1만 개로 구성된 GEO 표준 시험지를 사용했다. 질문마다 후보 글 5개가 정해져 있었고, 그중 한 글만 고친 다음 AI 답에서 해당 글이 얼마나 사용되는지를 원래 글과 비교했다.

고쳐 쓰기는 공개 AI 모델 Qwen2.5 7B가 맡았다. 답을 만든 AI가 어느 회사 모델인지는 따로 밝히지 않았다.

항목내용
연구진미국 새너제이주립대 컴퓨터과학과 2인
시험지GEO 표준 시험지(질문 1만 개)·같은 뜻 다른 표현 확장판
질문당 후보 글5개(고정)
같은 뜻 다른 표현글 하나당 5가지
고쳐 쓴 AIQwen2.5 7B(공개 모델)
주관 평가 항목7개(관련성·영향력·고유성·다양성·클릭 의향·체감 위치·체감 분량), 5점 척도

질문 하나씩 넣었을 때 인용 비율은 0.657에서 0.726으로 올랐다. 비율로 보면 10.5% 상승이다.

인용을 새로 얻은 질문은 123개였고, 인용을 잃은 질문은 55개였다. 새로 얻은 쪽이 잃은 쪽의 2.2배였다.

지표원래 글보탠 글오른 폭
인용 비율(질문 1개)0.6570.726+10.5%
인용 비율(표현 5가지)0.7130.772+8.3%
답 속 분량·위치 점수(질문 1개)0.21370.2407+12.6%
답 속 분량·위치 점수(표현 5가지)0.20380.2363+15.9%
주관 점수(질문 1개, 5점)2.3322.743+17.6%
주관 점수(표현 5가지, 5점)2.1372.503+17.1%

인용만 늘어난 것이 아니다. AI 답에서 해당 글을 근거로 쓴 문장이 얼마나 길고 얼마나 앞에 나오는지를 합친 「답 속 분량·위치 점수」도 질문 하나씩 넣었을 때 0.2137에서 0.2407로 올랐다. 주관 점수 역시 2.332에서 2.743으로 높아졌다.

다만 이런 결과를 보고 홈페이지 글을 고치면 무조건 인용이 늘어난다고 생각하면 안 된다. 인용을 얻은 질문도 있었고, 반대로 인용을 잃은 질문도 있었다.

인용 변화질문 1개표현 5가지
인용을 새로 얻음123개616번
인용을 잃음55개323번
얻은 쪽 ÷ 잃은 쪽2.2배1.9배
순증+68+293

고객이 다른 표현으로 물어도 효과가 있나

고객은 같은 내용을 늘 똑같은 문장으로 묻지 않는다. 그래서 연구진은 같은 뜻의 질문을 다섯 가지 표현으로 바꿔서도 결과를 확인했다.

이 조건에서도 인용 비율은 0.713에서 0.772로 올랐다. 8.3% 상승이다. 인용을 새로 얻은 경우는 616번, 잃은 경우는 323번이었다.

하지만 여기서 결과가 흔들리는 모습이 더 분명하게 보인다. 글 하나를 기준으로 봤을 때 다섯 표현에서 평균적으로 나아진 글은 66.0%였고, 다섯 개 중 세 개 이상에서 나아지거나 같았던 글은 73.7%였다.

다섯 표현 모두에서 나아지거나 같았던 글은 22.2%였다. 반대로 최소 한 개 표현에서 나아진 글은 87.5%였다.

글 하나 기준(표현 5가지)값
평균적으로 나아진 글66.0%
5개 중 3개 이상 나아지거나 같음73.7%
5개 모두 나아지거나 같음22.2%
최소 1개 표현에서 나아짐87.5%
나아질 때 평균 폭+0.1634
나빠질 때 평균 폭−0.0629

즉, 빠진 내용을 잘 찾아 넣는 방식은 여러 질문에 도움이 될 수 있지만 모든 질문에 똑같이 작동하지는 않는다. 같은 홈페이지 글이라도 고객이 어떤 표현을 쓰느냐에 따라 결과가 달라질 수 있다.

동네 가게 홈페이지에는 어떻게 써먹나

이 연구의 핵심은 고객의 질문 목록을 미리 만들지 않아도 된다는 데 있다. 홈페이지에 있는 낱말을 하나씩 보면서 그 낱말 바로 옆에 있을 법한 고객의 궁금증이 글에 들어 있는지 확인하는 방식으로 옮길 수 있다.

예를 들어 메뉴를 적었다면 가격과 양이 있는지 본다. 위치를 적었다면 가까운 역과 주차 정보가 있는지 본다. 시술을 적었다면 걸리는 시간과 주의사항이 있는지 본다. 이처럼 이미 쓴 내용에서 한 걸음 옆에 있는 정보를 찾아 빈칸을 확인하는 것이다.

다만 이것은 연구 결과를 동네 가게 홈페이지에 적용하는 방법에 대한 예상이다. 연구는 영어 시험지와 질문마다 고정된 후보 글 5개를 놓고 진행됐고, 실제 검색 순위가 바뀌는지는 확인하지 않았다.

비교초기 GEO 실험(2024)이번 실험
출발점주어진 질문글 자체
고치는 방식인용문·통계·출처 넣기 등 문체 변경빠진 이웃 개념 한 문장씩 보태기
대표 결과인용문 +43%·통계 +33%인용 비율 +10.5%·분량·위치 점수 +12.6%

기존 GEO 실험과도 차이가 있다. 초기 실험은 주어진 질문에 맞춰 인용문이나 통계, 출처를 넣는 식으로 글을 바꾸는 방법을 살폈다. 이번 연구는 질문을 먼저 정하지 않고 글 자체에서 빠진 이웃 개념을 찾는다.

두 연구는 실험 조건과 지표가 다르므로 숫자를 그대로 비교하면 안 된다. 다만 홈페이지를 고칠 때 고객이 실제로 어떤 문장으로 물을지 모두 예상하기 어렵다는 점에서는 이번 방식이 현실적인 점검 방법이 될 수 있다.

결국 핵심은 홈페이지를 처음부터 다시 쓰는 것이 아니다. 지금 적어둔 문장을 기준으로 고객이 바로 이어서 궁금해할 만한 내용이 빠져 있는지 살펴보고, 필요한 경우 짧은 문장 하나를 덧붙이는 것이다. 연구에서 확인된 효과는 분명 있었지만, 모든 질문에서 같은 효과가 보장된 것은 아니다.

① 빠진 이웃 개념을 보탠 글의 AI 인용 비율은 65.7%에서 72.6%로 10.5% 올랐다 ② 인용을 새로 얻은 질문은 123개, 잃은 질문은 55개로 2.2배 차이가 났다 ③ 같은 뜻의 표현 5가지 중 3개 이상에서 나아지거나 같았던 글은 73.7%, 모두 그런 글은 22.2%였다 ④ 영어 질문 1만 개와 후보 글 5개 고정 조건의 실험이라 실제 검색 순위 변화는 확인되지 않았다

같이 읽을 글

자료 출처

작성일

#홈페이지 #빠진 내용 #지식 그래프 #질문 추정 #인용률 #글 보강

← 칼럼 목록
무료로 신청하기→