Google-Extendedとは
目次
Google-Extendedとは
Google-Extendedは、自社のコンテンツをGeminiなどの生成AI学習に使わせるかどうかを制御する、robots.txt用のトークンです。Googleの公式ドキュメントは「Google-ExtendedはGoogle検索への掲載に影響せず、検索のランキング要因としても使われない」と明記しています(出典: Google検索セントラル)。
つまり、学習だけを切り離せて、検索の評価はそのままです。仕組みとしては、それだけです。
なぜGooglebotと分かれているのか
Google-Extendedはクローラーそのものではありません。Googlebotが集めたコンテンツの「使われ方」を制御するトークンで、Googlebotとは別枠で評価されます。
Google公式によると、Google-ExtendedはGemini AppsとVertex AI API for Geminiが対象で、将来世代のGeminiモデルの学習に自社コンテンツを使ってよいかを管理します(出典: Google検索セントラル)。一方、通常の検索インデックスやAI Overviewsの可視性を担うのはGooglebotです。というのも、Googleの生成AI機能(AI OverviewsやAI Mode)は独自の検索用ボットを別に持たず、通常の検索インデックスから情報を取得するからです。そのため、Google-Extendedを拒否してもAI Overviewsに出る前提は崩れません。ここがChatGPTやClaudeとの大きな違いで、OpenAIは検索用にOAI-SearchBotという別ボットを持つため、拒否するとChatGPT検索から消えてしまいます。
Disallowしても検索順位は下がらない
Google-Extendedを拒否しても、通常の検索順位やAI Overviews適格性には影響しません。Google公式が明言している事実であり、学習へのオプトアウトを安心して選べる根拠になっています(出典: Google検索セントラル)。
設定は、robots.txtに専用のUser-agentブロックを置くだけです。
# Geminiなどの生成AI学習に使わせない(検索順位には影響しない)
User-agent: Google-Extended
Disallow: /
つまずきやすいのは、Google-Extendedの拒否とGooglebotの拒否を混同し、検索からも消えると誤解してしまう点です。両者は独立して評価されるため、Googlebotを許可したままGoogle-Extendedだけ拒否できます。ただし、拒否すれば得という単純な話でもありません。学習に載せたほうがブランドが正しく説明されやすいという考え方もあるからです。拒否は、知的財産や収益保護を優先したい場合に選ぶ手段と捉えるのが妥当です。
Google以外も含めた制御はrobots.txtでAIクローラーを制御する方法、8ボットの役割整理はAIクローラー一覧、記事構成の土台はLLMに読まれ引用される記事構成で扱います。
参考文献
- Google検索セントラル「Google's common crawlers(Google-Extended)」 https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers