AI 봇 접근성 (AI Bot Accessibility)

AI 봇 접근성이란?

AI 봇 접근성은 GPTBot·ClaudeBot·Google-Extended·PerplexityBot 등 주요 AI 크롤러가 사이트의 콘텐츠를 읽고 인용 후보로 가져갈 수 있는 상태인지를 가리킵니다. 차단된 도메인은 해당 LLM의 학습·실시간 인용 후보에서 제외되므로, AI 봇 접근성은 GEO·AEO 측정에서 가장 우선순위가 높은 신호입니다.

robots.txt(허용/차단 정책)와 llms.txt(콘텐츠 안내 표준)이 함께 작용하며, 이 두 파일의 상태를 점검하는 것이 AI 봇 접근성 진단의 핵심입니다.

주요 AI 봇 8종

각 봇은 robots.txt에서 User-agent: <봇이름> 단위로 별도 정책을 지정할 수 있습니다.

자주 발생하는 실수

• User-agent: *로 전 봇 차단. 의도와 다르게 모든 AI 봇까지 차단됩니다.
• CDN 캐시·방화벽 레벨 차단. robots.txt는 허용이지만 Cloudflare·AWS WAF에서 봇이 차단되는 사례.
• Google-Extended를 허용했다고 안심. Google-Extended는 Gemini 학습용 토큰일 뿐, Googlebot과 별개입니다.
• Disallow: /만 점검하고 부분 경로 차단을 놓침. Disallow: /blog/ 같은 부분 차단도 가시성에 영향을 줍니다.

GEO 분석 도구의 점검 항목

1. robots.txt의 존재 여부와 응답 코드(200/404)
2. 8~12종 주요 AI 봇별 허용/차단 상태
3. llms.txt 파일의 존재와 형식 적합성
4. CDN/방화벽에서의 실제 봇 응답(테스트 호출)
5. 차단 시 의도된 차단인지(약관·개인정보 보호 정책 일치 여부)

관련 용어

• robots.txt
• llms.txt
• GEO (생성형 엔진 최적화)
• AI 가시성 진단