AIクローラー一覧(8ボット体制)
AIクローラーとは何か
AIクローラーは、生成AIや AI検索のために Webページを収集するボットです。役割は学習用・検索インデックス用・ユーザー操作時の取得用の3つに分かれ、robots.txt で個別に制御できます。
ひとくくりに「AIボット」と扱うのは、もはや適切ではありません。学習用を拒否しても検索引用には影響しない一方、検索用を拒否するとそのAIの回答に出なくなります。役割を分けて把握することが制御の前提です。
主要8ボットの一覧
OpenAI・Anthropic・Google の8ボットを、各社公式ドキュメントの記載に沿って整理します。
| 提供元 | ボット | 役割 | ブロック時の影響 |
|---|---|---|---|
| OpenAI | GPTBot | 学習用 | 将来の学習から除外。検索可視性には無関係 |
| OpenAI | OAI-SearchBot | ChatGPT検索の索引 | ChatGPT検索の回答に出なくなる |
| OpenAI | ChatGPT-User | ユーザー操作時の取得 | ユーザー起点の参照ができない |
| Anthropic | ClaudeBot | 学習用 | 将来の学習データから除外 |
| Anthropic | Claude-User | ユーザーの質問時の取得 | ユーザー起点の回答で参照されにくい |
| Anthropic | Claude-SearchBot | 検索品質向上の索引 | 可視性・正確性が低下しうる |
| Googlebot | 通常の検索クロール | 検索とAI Overviewsの両方に出にくくなる | |
| Google-Extended | 生成AI学習の制御 | 学習のみ切り離す。検索順位に影響しない |
（出典: OpenAI bots、Anthropic crawler）。Anthropic は2026年2月にこの3ボット体制を公式ドキュメント化し、旧UAの Claude-Web と anthropic-ai は廃止しました（出典: Anthropic's Claude bots）。
役割ごとに分けて見る意味
8ボットを役割で分けると、学習は拒否しつつ検索引用は受ける、といった精密な制御ができます。一括でブロックする運用では、この使い分けができません。
たとえば ClaudeBot だけ拒否し、Claude-User と Claude-SearchBot を許可すれば、学習には使わせず検索引用には載るという状態を作れます。Geo Index のクローラー分離計測は、この8ボットをプロバイダ別・ボット別に分けてアクセスを計測し、「どのAIが、どの役割で、いつ読んだか」を粒度高く可視化します。
計測でボット別の動きが見えたら、次は読まれた本文が引用される形になっているかが問われます。土台となる構成はLLMに読まれ引用される記事構成の作り方で確認でき、制御の実務はrobots.txtでAIクローラーを制御する方法、Claude個別の狙い方はClaudeに引用されるにはにまとめています。