GEO 논문이 45편이면, 이제 정답이 나온 걸까?

GEO 논문이 45편까지 쌓였지만, 이제 하나의 정답이 나온 것은 아니다. 같은 최적화 방법을 써도 어떤 실험에서는 인용 가능성이 41% 좋아졌고, 다른 실험에서는 54개 조합 중 유의미한 결과가 3개뿐이었다. 중요한 것은 어떤 숫자가 더 큰지가 아니라, 그 숫자가 어떤 조건에서 나온 것인지 확인하는 일이다.

GEO 논문이 45편이면, 이제 방법도 정해진 것 아닌가?

2023년 11월부터 2026년 7월까지 GEO를 다룬 연구는 45편까지 쌓였다. 초기에는 기초 논문과 통제된 실험이 많았고, 이후에는 실제 경쟁 상황과 검색부터 인용까지의 전체 과정을 측정하는 연구로 범위가 넓어졌다.

하지만 45편이 모두 같은 수준의 연구는 아니다. 이 가운데 학술지나 학회에서 정식 심사를 거친 연구는 약 15편이고, 나머지 약 30편은 프리프린트나 워크숍 발표 단계다.

그래서 논문이 많아졌다는 사실만으로 GEO의 정답이 정리됐다고 보기는 어렵다. 연구마다 무엇을 대상으로 삼았고, 어디까지 측정했는지가 다르기 때문이다.

같은 방법인데 왜 결과가 다를까?

차이를 가장 쉽게 볼 수 있는 사례가 있다. 원조 GEO 실험은 검색 결과에 들어갈 문서 5개를 미리 정해놓고, 그 안의 문장을 인용문이나 통계, 권위 있는 표현 등으로 고쳤다.

이 조건에서는 인용 가능성 지표가 19.3에서 27.2로 올라 약 41% 좋아졌고, 가시성은 최대 40%까지 올라갔다. 문서가 이미 검색 결과에 들어온 상태에서 내용을 고친 결과다.

그런데 2025년 대화형 검색 최적화 벤치마크에서는 조건이 달랐다. 6개 업종, 질문 약 1,900개, 문서 16,360개를 놓고 실제 경쟁 상황에서 같은 부류의 방법을 적용했다.

54개 방법-업종 조합 가운데 통계적으로 유의미하게 좋아진 경우는 3개뿐이었다. 질문답변형 과제에서는 유의미한 결과가 하나도 없었다.

2026년 전체 파이프라인 재현 연구에서는 검색과 재정렬 단계까지 포함했다. 문서 171,003개와 질문 2,700개를 대상으로 했더니 본문만 고친 경우 상위 20위 노출은 9%, 재정렬 후 상위 10위는 16%, 최종 인용은 6% 줄었다.

같은 방법이 왜 이렇게 다르게 보일까. 한쪽은 이미 뽑힌 문서 안에서 내용을 바꿨고, 다른 쪽은 어떤 문서가 뽑힐지부터 다시 경쟁했기 때문이다.

검색엔진이 다르면 결과도 달라질까?

달라질 수 있다. 빙챗과 퍼플렉시티의 응답 672개를 비교한 연구에서는 인용 도메인이 겹치는 비율이 26%였다.

구글 AI 개요도 일반 검색과 같은 결과를 보여주는 것은 아니었다. AI 개요가 인용한 도메인의 53%는 같은 질문의 일반 검색 상위 10위 밖에 있었다.

여러 엔진의 인용 URL을 질문 11,500개로 비교한 연구에서는 자카드 유사도가 0.11~0.18에 그쳤다. 같은 질문이라도 어느 엔진에서 측정하느냐에 따라 인용되는 페이지가 달라질 수 있다는 뜻이다.

AI 개요가 나타나는 비율도 측정 방식에 따라 13.7%, 64.7%, 51.5%로 달랐다. 전체 질문인지, 질문형인지, 대표 표본인지에 따라 숫자가 달라진다.

따라서 한 엔진에서 확인한 결과를 다른 엔진에도 그대로 적용한다고 보기 어렵다. 측정 대상과 질문 표본까지 함께 봐야 한다.

같은 질문을 다시 물으면 결과가 같을까?

같은 질문을 반복해도 인용되는 소스가 달라질 수 있다. 2026년 1월 24일부터 3월 20일까지 매일 같은 질문을 반복한 연구에서는 하루 사이 인용 소스의 자카드 유사도가 0.34~0.42였다.

순위까지 반영한 유사도인 RBO는 0.21~0.26으로 더 낮았다. 온도를 0으로 고정해도 반복 실행 결과는 9~28% 달라졌다.

또 반복 실행 중 챗GPT가 웹 검색 자체를 켜지 않은 비율도 57.8%였다. 이 연구는 한 번 측정한 결과만으로 판단하지 말고, 프롬프트당 최소 7~8회 반복해서 측정할 것을 권한다.

매일 같은 질문을 한 번씩 확인했는데 결과가 달라진다면, 하루의 결과만 가지고 홈페이지가 잘 노출되는지 판단하기 어렵다. 반복 횟수와 측정 조건도 결과의 일부다.

숫자 하나만 보면 왜 위험할까?

GEO에서는 무엇을 어떻게 계산했는지도 중요하다. 원자 단위로 나눈 주장 98,020개를 검증한 연구에서는 약 11%가 답변 안에서 충분히 뒷받침되지 않았다.

여러 어시스턴트와 주제를 대상으로 사실 근거 정도를 측정한 결과는 71.4%에서 86.3%까지 범위가 벌어졌다. 숫자가 하나로 모이지 않는다는 것 자체가 측정 조건을 함께 봐야 하는 이유다.

다중 비교 문제도 있다. 모델 6개와 요인 18개를 곱해 252,000회 시행한 연구는 여러 결과를 한꺼번에 비교할 때 통계 보정을 제대로 하지 않으면 우연히 유의미해 보이는 결과가 늘어날 수 있다고 지적했다.

방문 유입을 본 연구도 마찬가지다. 처리 전후만 단순 비교하면 5.7배 늘어난 것으로 나왔지만, 처리하지 않은 페이지도 같은 기간 3.5배 늘었다. 차분추정법으로 다시 계산하면 1.82배였고 신뢰구간은 1.31~2.54였다. 위약 검정 결과는 p=0.16으로 인과관계를 단정하기에는 부족했다.

그래서 특정 숫자 하나만 보고 효과가 있다고 판단하기 어렵다. 무엇과 무엇을 비교했는지, 다른 변화가 함께 있었는지, 어떤 통계 방법을 사용했는지를 같이 봐야 한다.

그럼 동네 사장님은 GEO를 어떻게 봐야 할까?

핵심은 논문에서 가장 큰 숫자를 찾는 것이 아니다. 홈페이지가 실제로 AI 답변에 들어가는지를 확인하려면 어느 엔진에서, 어떤 질문으로, 몇 번 반복해서, 어떤 결과를 기록했는지를 일정하게 관리해야 한다.

어제 인용되던 페이지가 오늘 빠질 수 있고, 챗GPT에서 나오던 답이 퍼플렉시티에서는 나오지 않을 수 있다. 논문에서 확인되는 결과의 흔들림과 실제 AI 검색 결과의 흔들림은 같은 문제를 보여준다.

GEO를 준비할 때는 “이 방법을 쓰면 몇 퍼센트 오른다”는 숫자보다 실험 조건을 먼저 보는 편이 안전하다. 문서가 이미 검색된 상태에서 측정했는지, 검색과 재정렬까지 포함했는지, 한 번만 측정했는지, 7~8회 반복했는지를 확인해야 한다.

45편의 논문이 쌓였다는 것은 아무것도 모른다는 뜻이 아니다. 오히려 이제는 무엇을 측정했는지까지 따져봐야 할 만큼 연구가 복잡해졌다는 뜻에 가깝다.

같이 읽을 글

• AI는 가게가 지어낸 사실을 걸러낼 수 있을까?
• FAQ 코드 하나만 넣으면 AI가 3배 더 인용해 줄까
• 우리 가게 홈페이지도 AI에게 점수를 받을까?
• AI가 참고 글을 한꺼번에 많이 읽으면, 우리 글은 덜 쓰일까?

자료 출처

• GEO 연구 45편 비평 종설(Olivier Martinez, arXiv 프리프린트, 2026.7.15 제출)
• GEO 원조 실험 논문(Aggarwal 외, KDD 2024 발표)
• 대화형 검색 최적화 벤치마크(Puerto 외, NeurIPS 2025 데이터셋&벤치마크 트랙, 6개 도메인·질문 약 1,900개·문서 16,360개)
• 전체 검색 파이프라인 재현 연구(Kim 외, 2026, 문서 171,003개·질문 2,700개)
• 반복측정 연구(Schulte 외, 2026, 45~46일 관찰, 자카드 0.34~0.42)