Geo Index
事前登録

AIクローラーのアクセスを診断する手順

著者: Geo Index 編集部 更新日: 2026/8/16 約5分で読めます 閲覧数: 42
目次

AIクローラーのアクセスはどう診断するのか

サーバーログでAIボットへのエラー応答を調べ、CloudflareのBot設定を点検し、GA4のAI参照と突き合わせる。この3段で診断します。robots.txtの設定ではなく、ログに残った実際の応答から見るのがコツです。

robots.txtを許可していても、CDNやレート制限で弾かれていれば本文は届かず、引用は生まれません。「許可した」と「読まれた」はイコールではありません。

診断の手順

  1. サーバーログを開き、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、Googlebotなどのユーザーエージェントを抽出します
  2. それらのボットへの応答コードを確認します。403 Forbiddenや429 Too Many Requestsが出ていれば、実質ブロックされています
  3. Cloudflareを使っている場合、Security の Bots(Control AI Crawlers)でAIスクレイパーのブロックが有効になっていないか点検します
  4. GA4のAI参照トラフィック(utm_source=chatgpt.comなど)と突き合わせ、クロールはされているのに参照が伸びていない箇所を探します

この手順はMerselの整理が根拠で、ログでOAI-SearchBot、PerplexityBot、Claude-Userへの403応答を確認し、CloudflareのControl AI Crawlersを点検するよう勧めています(出典: How to Block or Allow AI Bots)。

つまずきやすい点

偽のボットを本物と取り違えるのが、わりとよくある失敗です。というのも、User-Agent名は誰でも詐称できるため、UA文字列だけで判断すると診断を誤ります。

OpenAIはGPTBot、OAI-SearchBot、ChatGPT-Userの公開IPリストをJSONで公開していて、UA照合に加えてIPを突き合わせれば本物かどうか判別できます(出典: OpenAI bots)。一方Anthropicは、IPブロックを推奨していません。robots.txtを読めなくなり、かえって逆効果になるからです(出典: Anthropic crawler)。Geo Indexの「AIクローラー・アクセス診断」は、この一連の確認を自動化し、誤ブロックや未到達を検出する機能として用意しました。

診断で確実に読まれていると確認できたら、その本文を引用されやすい形に仕上げる段階に入ります。書き方はLLMに読まれ引用される記事構成の作り方、誤ブロックの予防はAIクローラーの誤ブロックを防ぐ、制御の基本はrobots.txtでAIクローラーを制御する方法を参照してください。

参考文献