llms.txt를 만들면 AI가 우리 홈페이지를 더 잘 읽을까?
많이 만들고 있지만 실제로 읽는 AI는 드물다
llms.txt를 홈페이지에 올렸다고 해서 AI가 그 홈페이지를 더 잘 가져가는 것은 아니다. 137,000개 도메인을 조사한 결과 llms.txt의 97%는 요청이 한 번도 없었다. 파일을 만든 사이트는 2025년 6월 4,088개에서 2026년 5월 36,120개로 8.8배 늘었지만, 읽으러 오는 AI는 거의 없었다.
llms.txt는 올린 사이트는 많지만 실제로 읽는 AI는 거의 없는 파일이다.
llms.txt를 만들면 AI에 더 잘 나오는 것 아닌가?
그렇게 생각하기 쉽다. AI가 홈페이지 내용을 읽어야 하니 AI를 위한 파일을 따로 만들어 주면 도움이 될 것처럼 보인다.
하지만 지금까지 나온 기록은 다르게 보인다. 에이치레프스가 137,000개 도메인의 서버 기록을 조사했더니 llms.txt를 올린 사이트의 97%에서 그 파일을 요청한 기록이 0건이었다.
읽힌 3%도 대부분 AI가 아니었다. 그 요청 가운데 SEO 점검 도구가 21.7%를 차지했다. GPTBot은 4.51%, ClaudeBot은 0.80%, AI 검색 봇 전체는 1.1%였다.
| 조사 | 결과 |
|---|---|
| 에이치레프스(137,000개 도메인, 2026년 5월) | llms.txt의 97%가 요청 0건 |
| 같은 조사, 읽힌 3%의 요청자 | SEO 도구 21.7% · |
| 파일 수 | 2025년 6월 4,088개 → 2026년 5월 36,120개(8.8배) |
| SE랭킹(약 300,000개 도메인) | llms.txt 유무와 AI 인용 사이 통계적 상관 없음 |
| 오털리(90일, AI 봇 방문 62,100회) | llms.txt 요청 84회(0.1%) |
| 한 SaaS 사이트 14일 기록(2026.7.20~8.3) | AI 봇 페이지 요청 151회, robots.txt 723회, llms.txt 0회 |
즉, 파일을 만들어 놓는 것과 AI가 그 파일을 읽는 것은 다른 문제다.
그런데 구글과 오픈AI는 어떻게 말하고 있나?
구글 검색 센터의 「AI 기능과 웹사이트」 문서는 AI 기능에 나오기 위해 새 기계용 파일이나 AI 텍스트 파일, 마크업을 만들 필요가 없다고 설명한다. 특별한 구조화 데이터도 필요하지 않다고 안내한다.
구글의 존 뮬러도 AI 서비스 가운데 llms.txt를 쓴다고 밝힌 곳은 없으며, 서버 기록에서도 확인하지 않는다고 말했다.
오픈AI의 크롤러 안내 문서도 robots.txt를 다루지만 llms.txt는 언급하지 않는다. 앤트로픽과 퍼플렉시티도 llms.txt를 채택한다고 발표한 내용이 없다.
llms.txt는 2024년에 한 개인이 제안한 규격이다. 현재 큰 AI 회사들이 채택했다고 밝힌 파일은 아니다.
| 회사 | 입장 |
|---|---|
| 구글 | 「새 기계용 파일· |
| 오픈AI | 크롤러 문서에 robots.txt만 — llms.txt 언급 없음 |
| 앤트로픽· | 채택 발표 없음 |
그래서 홈페이지 제작사가 「llms.txt를 넣어 AI 최적화를 했다」고 설명하더라도, 그 파일 하나만으로 AI 노출이 만들어졌다고 보면 안 된다.
그럼 AI는 홈페이지에서 무엇을 먼저 보나?
먼저 확인할 것은 robots.txt다.
같은 14일 기록에서 AI 봇은 robots.txt를 723번 요청했다. 반면 llms.txt 요청은 0번이었다. AI 봇이 홈페이지를 읽을 수 있도록 robots.txt에서 접근을 막고 있지 않은지 확인하는 일이 먼저다.
그다음은 실제 페이지의 본문이다.
오픈AI 봇은 자바스크립트를 실행하지 않기 때문에 페이지에 글자가 실제 HTML로 들어 있어야 한다. 화면에는 글이 보이는데 스크립트를 끄면 글이 사라지는 방식이라면 확인할 필요가 있다.
사이트맵과 페이지 안의 날짜, 구조화 데이터도 확인 대상이다. llms.txt보다 먼저 홈페이지 자체가 제대로 읽히는지를 살펴봐야 한다.
| 순서 | 파일· | AI 봇이 실제로 보나 |
|---|---|---|
| 1 | robots.txt | 본다(14일간 723회) |
| 2 | 본문 HTML(스크립트 없이 글자) | 본다(151회) |
| 3 | 사이트맵· | 본다(구글· |
| 4 | llms.txt | 거의 안 본다(97% 0회) |
우리 홈페이지에도 llms.txt가 있는데 없애야 하나?
꼭 없앨 필요는 없다.
AI사이트코리아도 llms.txt와 llms-full.txt를 자동으로 만들고 있다. 다만 AI에 홈페이지가 나오는 이유를 이 파일에서 찾지는 않는다.
중요한 것은 페이지마다 고객이 궁금해할 질문과 답을 넣는 것이다. 숫자가 있다면 숫자를 넣고, 표가 필요하다면 표를 넣고, 출처가 있다면 출처를 넣는다.
결국 AI가 읽을 수 있는 실제 홈페이지 내용이 있어야 한다.
llms.txt를 가지고 있는 것 자체가 문제라는 뜻도 아니다. 다만 「llms.txt를 만들었으니 AI에 잘 나온다」고 설명하는 것은 현재 확인된 기록과 맞지 않는다.
사장님 홈페이지에서 먼저 볼 것은 간단하다. robots.txt가 AI 봇의 접근을 막고 있는지 확인한다. 그다음 페이지의 본문에 필요한 글자가 실제 HTML로 들어 있는지 확인한다. 사이트맵과 날짜, 구조화 데이터도 살핀다.
이 작업이 끝난 뒤 llms.txt를 두는 것은 「해도 손해 없는 것」에 가깝다. 순서를 바꿔서는 안 된다.
요점 ① 137,000개 도메인 조사에서 llms.txt의 97%는 요청 0건이었다. ② 파일 수는 4,088개에서 36,120개로 8.8배 늘었지만 읽는 AI는 드물었다. ③ 같은 14일 기록에서 robots.txt는 723회 요청됐고 llms.txt는 0회였다. ④ AI가 읽는 기본은 robots.txt와 본문 HTML이며, llms.txt는 그다음이다.
같이 읽을 글
- 홈페이지를 만든 곳이 AI 봇을 막으면 어떻게 될까?
- 지금 있는 홈페이지, AI가 가져가게 하려면 무엇부터 고칠까
- GEO 요령은 정말 AI 노출에 효과가 있나?
- 챗GPT는 이제 빙을 안 쓴다 — 자기 색인으로 답한다
자료 출처
작성일
← 칼럼 목록