문 앞 안내판 고치는 법
AI 심부름꾼 열다섯을 들여보내기
홈페이지 문 앞에는 「누가 들어와도 되는지」 적어 둔 안내판이 있습니다. 이름이 robots.txt입니다. 「robots」는 심부름꾼, 「txt」는 메모장 파일이라는 뜻입니다.
AI 노출에서 이 안내판이 첫 관문입니다. 여기서 막히면 뒤에 무엇을 해도 소용없습니다.
지금 우리 것부터 보십시오
주소 뒤에 /robots.txt를 붙이면 누구나 볼 수 있습니다. 우리 것도, 남의 것도 볼 수 있습니다.
들여보내야 하는 심부름꾼
이 이름들은 답을 찾으러 오는 심부름꾼입니다. 막으면 그 AI 답에 우리가 안 나옵니다.
- OAI-SearchBot, ChatGPT-User — 챗GPT
- Claude-SearchBot, Claude-User — 클로드
- PerplexityBot, Perplexity-User — 퍼플렉시티
- Googlebot — 구글 검색·AI 개요
- Bingbot — 빙. 챗GPT가 여기 색인을 씁니다
- Yeti — 네이버 검색·AI 브리핑
- Daum — 다음
사장님이 정하실 심부름꾼
이 이름들은 AI를 가르치려고 옵니다. 막아도 답변 노출에는 영향이 없습니다. 다만 두 가지는 예외입니다.
- GPTBot — 챗GPT 학습. 막아도 노출에 영향 없습니다
- ClaudeBot — 클로드 학습. 막아도 노출에 영향 없습니다
- Applebot-Extended — 애플 AI 학습. 막아도 영향 없습니다
- Google-Extended — 막으면 제미나이 노출이 줄 수 있습니다
- meta-externalagent — 막으면 메타 AI 노출이 줄 수 있습니다
여기가 국내에서 가장 흔한 사고 지점입니다. 「AI 크롤러 차단하는 법」이라는 안내를 보고 일괄 차단해 버린 홈페이지가 많습니다. 그러면 학습만 막는 게 아니라 답을 찾으러 오는 심부름꾼까지 막힙니다. 학습용과 검색용을 갈라서 적어야 합니다.
사이트맵 줄도 넣으십시오
안내판 맨 아래에 우리 페이지 목록표가 어디 있는지 한 줄 적어 두면, 심부름꾼이 헤매지 않습니다.
고쳐도 바로 반영되지 않습니다
오픈AI는 공식 문서에서 안내판을 고친 뒤 반영까지 약 24시간이 걸린다고 밝히고 있습니다. 다른 곳도 비슷하거나 더 걸립니다. 고치자마자 확인하고 실망하실 필요 없습니다.
주의할 것 하나
이 안내판은 자물쇠가 아니라 약속입니다. 지킬지 말지는 심부름꾼을 만든 쪽이 정합니다. 오픈AI·앤스로픽·구글은 지키겠다고 공개적으로 밝혔고 실제로 지키고 있습니다. 다만 「막아 두었으니 안전하다」고 생각하시면 안 됩니다. 정말 감춰야 할 내용은 애초에 공개된 페이지에 올리지 않는 것이 맞습니다.