AI가 우리 가게 글을 찾으면 답에도 써 줄까?

AI가 검색을 수십 번, 수백 번 한다고 우리 가게 글이 답에 들어갈 가능성이 함께 커지는 것은 아니다. 연구에서는 정답률이 AI가 맞는 근거를 얼마나 찾았는지와 0.99의 상관을 보였지만, 검색 횟수와는 0.12에 그쳤다. AI는 필요한 글을 검색 초반에 찾는 경우가 많았고, 뒤늦게 새로운 근거를 찾는 경우는 많지 않았다.

AI가 검색을 오래 하면 답이 더 정확해지지 않나?

연구진은 검색을 오래 하는 AI 6종을 같은 조건에서 비교했다. 문서 약 10만 개가 있는 자료실을 쓰게 하고 검색 엔진도 하나로 맞췄으며, 한 번 검색할 때 결과 5개가 나오도록 했다. 한 질문마다 최대 128번 검색하고 150분 안에 답하게 했다.

결과는 예상과 달랐다. 검색을 가장 많이 한 gpt-oss-120b는 검색 중앙값이 33번이었지만 정답률은 38.0%였다. 반면 GLM 5.1은 14번 검색하고도 정답률이 74.1%였다.

여섯 AI를 비교했을 때 정답률과 가장 가깝게 움직인 것은 맞는 근거를 얼마나 누적으로 찾았는지였다. 이 둘의 상관은 0.99였다. 반면 검색 횟수와 정답률의 상관은 0.12였다.

연구진은 같은 질문 안에서도 비교했다. 두 AI 중 한쪽만 정답 근거를 찾은 질문 366개를 따로 봤더니, 근거를 찾은 쪽은 73.8%를 맞혔고 찾지 못한 쪽은 2.2%만 맞혔다. 결국 중요한 것은 검색 횟수가 아니라 필요한 근거를 찾았느냐였다.

AI가 찾은 글과 답에 쓴 글은 같은 것 아닌가?

그렇지는 않다. 이 연구는 AI가 틀린 이유를 크게 두 가지로 나눴다. 정답 근거를 끝까지 찾지 못한 경우는 「찾기 실패」, 근거를 찾았는데도 답을 틀린 경우는 「쓰기 실패」다.

6종 가운데 5종에서는 오답의 51.6~64.1%가 찾기 실패였다. Kimi K2.6은 다른 모습을 보였고, 오답의 52.0%가 쓰기 실패였다. Kimi의 쓰기 실패 가운데 71.4%는 정답 근거를 전부 찾고도 틀린 경우였다.

여기서 사장님이 알아둘 점이 있다. AI가 우리 가게 글을 검색 결과에서 찾았다고 해서 그 내용이 최종 답에 정확하게 들어간다는 보장은 없다. 반대로 처음 검색에서 우리 가게 글이 필요한 근거로 잡히지 않으면, 뒤에서 검색을 많이 한다고 반드시 다시 찾아내는 것도 아니다.

검색을 수십 번 하면 결국 우리 가게 글도 찾지 않을까?

연구에서는 검색 한 번과 그 뒤에 열린 문서를 묶어 하나의 검색 단계로 봤다. 전체 단계 가운데 77.5~93.6%는 새로운 근거를 하나도 더하지 못했다. 새로운 근거를 더한 단계는 6~23%에 불과했고, 한 질문에서 그런 단계의 중앙값은 2~3개였다.

정답 근거를 처음 찾은 뒤에도 검색은 계속됐지만, 이어진 단계의 57.9~74.0%는 새로운 근거를 더하지 못했다. 틀린 답은 맞힌 답보다 1.9~2.9배 오래 검색했지만, 길어진 검색이 근거를 되찾아 주지는 못했다.

검색어를 반복하는 비율도 낮았다. gpt-oss-120b는 같은 검색어를 반복한 비율이 5.0%였고, 나머지는 1.5% 이하였다. 반복 비율과 정답률의 순위상관은 −0.83이었다.

가령 고객이 「OO동 어린이 치과 주말 진료」를 검색한다고 해 보자. AI의 처음 몇 번 검색에 가게 글이 필요한 근거로 잡히지 않으면, 뒤에서 수십 번 더 검색한다고 다시 잡힐 가능성이 높아진다고 볼 근거는 이 연구에서 나오지 않는다. 다만 이 사례의 숫자를 직접 측정한 연구는 아니다.

AI는 우리 홈페이지를 직접 읽기는 할까?

검색 결과에 가게 글이 뜨는 것과 홈페이지 본문을 직접 읽는 것도 다르다. 연구에서 AI가 답을 만들 때 쌓은 맥락의 66~85%는 검색 결과의 요약문이었다. 직접 연 문서 본문은 2~16%에 그쳤고, 문서를 연 횟수의 중앙값도 1~3번이었다.

따라서 고객이 자주 묻는 사실은 검색 결과에 잡힐 수 있는 앞부분에 분명하게 드러나는 것이 중요하다고 볼 수 있다. 가게 이름, 지역, 업종, 진료·영업 시간, 가격처럼 질문과 바로 연결되는 정보가 여기에 해당한다.

다만 여기에는 주의할 점이 있다. 이 연구는 홈페이지를 어떻게 작성해야 하는지를 직접 시험한 연구가 아니다. 따라서 페이지 제목이나 첫 문단에 정보를 넣으면 실제로 AI 답변에 더 많이 쓰인다고 단정할 수는 없다.

실제 AI 서비스도 검색을 많이 할까?

구글은 AI 모드가 질문을 여러 하위 주제로 나누고 여러 검색을 동시에 진행한다고 설명한다. 더 깊게 찾는 기능은 검색을 「수백 번」 한다고 설명한다. 이번 연구의 장시간 검색 AI도 이런 방식의 검색과 관련된 모습을 보여 준다.

연구진은 공개 웹에서도 결과를 다시 확인했다. 질문 200개를 AI 4종에게 맡겼는데, 정답률은 30.5~64.0%였고 찾은 근거의 양과 정답률의 상관은 0.99였다. 검색 횟수와 정답률의 상관은 0.12였으며, 오답의 68~88%는 찾기 실패였다.

이 결과는 가게 홈페이지가 검색 결과에 한 번이라도 걸리기만 하면 된다는 뜻도 아니다. AI가 필요한 근거로 판단할 수 있는 글이어야 하고, 찾은 뒤에도 실제 답에 제대로 반영되는 과정이 남아 있다.

그렇다면 가게 글에서 중요한 것은 무엇일까?

이번 연구에서 직접 확인된 것은 「많이 검색하는 것」보다 「맞는 근거를 찾는 것」이 정답과 훨씬 가깝게 움직였다는 점이다. 특히 검색 단계의 77.5~93.6%가 새로운 근거를 더하지 못했다는 결과는 검색이 길어진다고 발견 가능성이 계속 커지는 것은 아니라는 점을 보여 준다.

또 하나 중요한 점은 AI가 찾은 글과 답에 쓴 글이 다를 수 있다는 것이다. 정답 근거를 찾았는데도 틀리는 쓰기 실패가 있었기 때문이다. 따라서 가게 정보를 검색 결과에 드러내는 것과 AI가 그 정보를 최종 답에 정확히 사용하는 것은 별개의 문제로 봐야 한다.

연구에는 한계도 있다. 질문은 모두 영어였고, 주 분석은 문서 10만 개의 닫힌 자료실에서 이뤄졌다. 시험한 AI도 가중치가 공개된 6종뿐이며 챗GPT나 제미나이 같은 상용 서비스는 포함되지 않았다.

정답 채점은 GPT-4o 한 모델이 맡았고, 질문은 OpenAI가 만든 1,266문항짜리 「찾기 어려운 정보」 시험에서 나왔다. 여러 단서를 이어 붙이는 퍼즐형 질문이어서 「근처 미용실 추천」 같은 동네 질문과는 다르다. 공개 웹 재확인도 200문항이었고, 사용한 검색 API의 회사는 공개되지 않았다.

AI사이트코리아가 9/16 챗GPT 답의 인용 31건을 직접 세어 본 결과도 함께 볼 수 있다. 자기 홈페이지가 10건, 정부 사이트가 3건이었고 네이버 블로그와 브런치는 0건이었다. 다만 이 사례만으로 검색 결과에 처음 걸리는 글이 답에 쓰인다는 인과관계까지 확인된 것은 아니다.

같이 읽을 글

• 우리 홈페이지가 AI 보고서에 쓰였는데, 왜 출처에는 안 나올까?
• 우리 글은 AI에게 어떻게 골라질까?
• AI가 참고 글을 한꺼번에 많이 읽으면, 우리 글은 덜 쓰일까?
• 홈페이지를 못 읽으면 AI는 우리 가게를 어떻게 설명할까?

자료 출처

• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents(런민대·싱가포르국립대, arXiv 2608.01913, 2026.8, AI 6종·질문 830개·공개 웹 200개)
• 같은 연구 HTML 본문(표 1·4장 수치 확인)
• 같은 연구 코드·데이터 저장소(연구진 공개)
• BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents(OpenAI, arXiv 2504.12516, 2025.4, 1,266문항)
• AI Mode in Google Search: Updates from Google I/O 2025(구글 공식 블로그, 2025.5, 질문 쪼개기·수백 번 검색)
• Google brings Gemini 3 AI model to Search and AI Mode(구글 공식 블로그, 질문 쪼개기 확대)