Geo Index
事前登録

AIクローラーの誤ブロックを防ぐ

著者: Geo Index 編集部 更新日: 2026/8/23 約4分で読めます 閲覧数: 42
目次

AIクローラーの誤ブロックとは

robots.txtでAIクローラーを許可していても、CDNやWAFのレート制限で実際には弾かれていることがあります。サイト側は「許可した」つもりでも、AIには本文が届いていないという状態です。

Merselの整理では、B2B SaaSやECサイトの約27%が、ローカルのrobots.txt自体は正しく書けているのにCDN層で主要なLLMクローラーを誤ってブロックしているといいます(出典: How to Block or Allow AI Bots)。つまり、「許可している」ことと「実際に届いている」ことは別の話だと考えたほうがいいでしょう。

なぜrobots.txtを許可しても弾かれるのか

原因はrobots.txtの外側にあります。robots.txtはあくまでクローラーへのお願いの記述で、実際の通信を遮断しているのは手前のCDNやファイアウォールです。CloudflareなどのBot対策やWAFのルール、レート制限による429 Too Many Requestsが、AIクローラーのアクセスに当たってしまうケースが目立ちます。

たとえばCloudflareのダッシュボードには、Security の Bots に「Control AI Crawlers」というAIスクレイパー遮断設定があり、これが有効だとrobots.txtの許可記述とは無関係に弾かれてしまいます。AIクローラーは通常のブラウザと挙動が違うため、Bot対策側に攻撃だと誤認されやすいのです。

確認と解消の手順

サーバーログで対象ボットへの403・429応答を探し、CDN側の設定を見直すのが基本の流れになります。

  1. サーバーログでOAI-SearchBot、ChatGPT-User、Claude-User、Claude-SearchBot、PerplexityBotへの403や429の応答が出ていないか確認します
  2. CloudflareのSecurity > Bots(Control AI Crawlers)でAIスクレイパーのブロックが有効になっていないか点検します
  3. AI検索ボットへのレート制限が厳しすぎないか確認し、必要なら緩めます

ログを見ずに「robots.txtを直したから大丈夫」で済ませると、この種の誤ブロックは見つからないまま残ってしまいます。一方で、AI参照経由の流入は標準的なオーガニック検索より4.4倍コンバージョンが高いという集計もあり(出典: 同Mersel)、塞いだままだと機会損失が積み上がる一方になります。Geo Indexの「AIクローラー・アクセス診断」は、この誤ブロックを検出し、そもそもAIに読まれていない状態を可視化する機能として用意しました。

誤ブロックを解いて本文が届くようになったら、あとは引用されるかどうかは記事の作り次第です。整え方はLLMに読まれ引用される記事構成の作り方にまとめました。なお、制御の基本はrobots.txtでAIクローラーを制御する方法、描画起因で届かないケースはSSRが必要な理由とAIクローラーのJS非実行を参照してください。

参考文献