Google-Extendedとは

Google-Extendedは、自社のコンテンツをGeminiなどの生成AI学習に使わせるかどうかを制御するための、robots.txt用のトークンです。Googleの公式ドキュメントは「Google-ExtendedはGoogle検索への掲載に影響せず、検索のランキング要因としても使われない」と明記しています(Google検索セントラル)。

要点はこの一文に尽きます。学習だけを切り離せて、検索の評価はそのまま、という設計です。

なぜGooglebotと分かれているのか

Google-Extendedはクローラーそのものではなく、Googlebotが集めたコンテンツの「使われ方」を制御するトークンです。Googlebotとは別枠で評価されます。

Google公式によれば、Google-ExtendedはGemini Apps と Vertex AI API for Gemini が対象で、将来世代のGeminiモデルの学習に自社コンテンツを使ってよいかを管理します(Google検索セントラル)。一方、通常の検索インデックスやAI Overviewsの可視性はGooglebotが担います。Googleの生成AI機能(AI OverviewsやAI Mode)は独自の検索用ボットを別に持たず、通常の検索インデックスから情報を取得するため、Google-Extendedを拒否してもAI Overviewsに出る前提は崩れません。ここがChatGPTやClaudeとの大きな違いです。OpenAIは検索用にOAI-SearchBotという別ボットを持つので、拒否するとChatGPT検索から消えます。

Disallowしても検索順位は下がらない

Google-Extendedを拒否しても通常の検索順位やAI Overviews適格性に影響しません。これはGoogle公式が明言している事実で、学習へのオプトアウトを安心して選べる根拠になります(Google検索セントラル)。

設定はrobots.txtに専用のUser-agentブロックを置くだけです。

# Geminiなどの生成AI学習に使わせない(検索順位には影響しない)
User-agent: Google-Extended
Disallow: /

つまづきやすいのは、Google-Extendedの拒否とGooglebotの拒否を混同して、検索からも消えると誤解する点です。両者は独立して評価されるので、Googlebotを許可したままGoogle-Extendedだけ拒否できます。学習に載せたほうがブランドが正しく説明されやすいという考え方もあり、拒否はあくまで知的財産や収益保護を重視する場合の選択です。

Google以外も含めた制御はrobots.txtでAIクローラーを制御する方法、8ボットの役割整理はAIクローラー一覧、記事構成の土台はLLMに読まれ引用される記事構成で扱います。

参考文献

Google検索セントラル「Google's common crawlers(Google-Extended)」 https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers

Google-Extendedとは

目次