robots.txtでAIクローラーを制御する方法【設定例つき】

robots.txtでAIクローラーをどう制御するか

AIクローラーは目的別に分かれているため、robots.txt を使えばボットごとに個別制御できます。すべてを一括拒否・一括許可にするのではなく、学習用クローラーは拒否しつつAI検索とユーザー取得用は許可するのが、事業サイトの定石になりつつあります。

各社の公式ドキュメントによると、OpenAI は GPTBot（学習）、OAI-SearchBot（ChatGPT検索の索引）、ChatGPT-User（ユーザー操作時の取得）を独立して制御できます。同様に Anthropic も ClaudeBot、Claude-User、Claude-SearchBot の3体制です。つまりどちらの陣営も、学習用・検索用・ユーザー操作用でボットを分けて公開しています（出典: OpenAI bots、Anthropic crawler）。

設定例（学習は拒否・検索は許可）

次は学習用を拒否し、AI検索とユーザー取得を許可する構成です。実務ではこの形をベースに調整するのがおすすめですが、各UAは時々変わるため、適用前に必ず各社公式で確認してください。

# 学習用クローラーを拒否（任意・IP保護目的）
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /

# AI検索・ユーザー取得は許可（被引用のため）
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /

ここで混同しやすいのが Google-Extended と Googlebot の違いです。Google-Extended は Gemini 等の生成AI学習向けのトークンなので、これを Disallow しても通常のGoogle検索順位には影響しません。一方 Googlebot は別物で、AI Overviews も Googlebot のインデックスを使うため、こちらは許可したままにします。

つまずきやすい点

最大の失敗は、OAI-SearchBot や Claude-SearchBot まで学習用クローラーと一括で拒否してしまうことです。設定をまとめて楽にしたい気持ちは分かりますが、これらはAI検索用のボットなので、拒否すればそのAIの検索回答に出なくなってしまいます。

実際、OpenAI は OAI-SearchBot をブロックしたサイトはChatGPT検索の回答に表示されないと明言しています（出典: OpenAI publishers FAQ）。Anthropic も同様に、Claude-SearchBot のブロックでサイトの可視性と正確性が下がりうると記載しています（同 Anthropic 公式）。また robots.txt の変更がChatGPT検索へ反映されるまでは約24時間かかるため、設定変更後すぐに確認しても結果に反映されていないことがあります。

逆に、製品サイトやブランドサイトであれば「全部許可」のほうが合理的な場合もあります。学習に載るほどブランドが正しく表現されやすくなるからで、学習拒否はあくまでIPや収益を守りたいサイトに限った選択と考えてください。

ただし、robots.txtの許可設定を整えただけで満足してはいけません。クローラーを通しても、読まれた本文がそのまま引用される形になっていなければ意味が薄いからです。LLMに読まれ引用される記事構成の作り方も合わせて押さえておくと、効果が出やすくなります。また、設定が実際に効いているかどうかはAIクローラーの誤ブロックを防ぐで確認でき、ボットごとの役割そのものはAIクローラー一覧（8ボット体制）にまとめています。