AIクローラーとは？

AIクローラーとは、LLMの学習データを収集し、AI検索の回答のためにコンテンツを取得するためにウェブを巡回するボットであり、GPTBot、ClaudeBot、Google-Extendedが代表的です。
多くの運営元は、ボットを用途別（学習 / 検索インデックス / ライブのユーザーリクエストへの応答）に分け、それぞれに個別の User-Agent と robots.txt トークンを割り当てています。
robots.txt でトークンごとにDisallowルールを記述することで、サイト所有者は、AI検索での表示は許可しつつ AI 学習だけをブロックする、といった選択的な制御を行えます。
Google-Extended は独立したクローラーではなく robots.txt の制御トークンであり、これをブロックしても Google Search のランキングやインデックス登録には影響しません。
Cloudflare のデータ（2025年5月）によると、GPTBot は AI 特化クローラートラフィックの約 30% を、ClaudeBot は約 21% を占め、この2つが最大のシェアでした。

AIクローラーとは？

AIクローラーとは、生成AIサービスを運営する企業が、ウェブページ上のテキストやデータを自動的に収集するために運用するボットです。収集されたデータは主に2つの目的で使われます。1つは、ChatGPT、Claude、Gemini などの大規模言語モデル（LLM）を学習させること、もう1つは、最新情報をリアルタイムで取得し、回答に引用すること

です。これは、ChatGPT search や AI 生成の応答が行うのと同様です。従来の検索クローラー（たとえば Googlebot）は検索インデックスを構築するために存在しますが、AIクローラーはモデル学習と AI 生成回答という目的が加わります。ここでは厳密に区別することが重要です。「AI crawling」は収集という行為またはプロセスを指し、AIクローラーはその行為を実行するボット

を指します。本記事ではボットそのもの、つまりどの運営元がどの名前と User-Agent でどの目的のためにどのボットを運用しているかに焦点を当てます。ボットを正確に識別できてはじめて、robots.txt で意図どおりに制御できます。多くの運営元は、ボットを用途別に分けて運用していますたとえば、学習用ボット、検索インデックス作成用ボット、そしてユーザーが質問したときにのみページを取得するボットを別々に保持し、それぞれに異なる robots.txt トークンを割り当てます。この構成により、サイト運営者は「自分のコンテンツをモデルの学習に使わないでほしいが、AI searchの結果には表示してよい」といった選択的なポリシーを設定できます。

主要な AI クローラー一覧

以下の表は、公式ソースで文書化されている主要な AI クローラーを、その運営元、User-Agent、robots.txt トークン、目的とともに示したものです。運営元は User-Agent 文字列のバージョン番号（たとえば GPTBot/1.3）を随時更新するため、ブロックおよび許可のルールはバージョン番号ではなく robots.txt トークン名に対して記述する必要があります。

ボット名	運営元	robots.txt トークン	主な目的
GPTBot	OpenAI	`GPTBot`	生成 AI の基盤モデルの学習データ収集
OAI-SearchBot	OpenAI	`OAI-SearchBot`	ChatGPT の検索結果にサイトを表示すること
ChatGPT-User	OpenAI	`ChatGPT-User`	ユーザーが質問した瞬間にページを直接取得すること
ClaudeBot	Anthropic	`ClaudeBot`	Claudeモデルのトレーニングと改善のためのデータ収集
Claude-User	Anthropic	`Claude-User`	ユーザーの質問に答えるために必要なページを取得する
Claude-SearchBot	Anthropic	`Claude-SearchBot`	Claudeの検索機能のためのコンテンツをインデックス化する
Google-Extended	Google	`Google-Extended`	GeminiおよびVertex AIのトレーニング/グラウンディングを制御する（個別のクローラーではなく、トークンのみ）
CCBot	Common Crawl	`CCBot`	パブリックなウェブアーカイブを構築する（多くのLLMのトレーニングデータのソース）

参考までに、正確なUser-Agent文字列は以下のとおりです（公式ドキュメントによる）。OpenAIのGPTBotはMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.3; +https://openai.com/gptbotであり、Common CrawlのCCBotはCCBot/2.0 (https://commoncrawl.org/faq/)です。これに対して、Google-Extendedには、それ自体の独立したHTTP User-Agent文字列はありません。実際のクロールは既存のGooglebot User-Agentの下で実行され、そしてGoogle-Extendedトークンは robots.txt 内での制御にのみ使用されます。

robots.txt による AI クローラーの制御

AI クローラーを制御する標準的な手段はrobots.txtです。OpenAI、Anthropic、Google、Common Crawl はいずれも、自社のボットが robots.txt の標準ディレクティブに従うと正式に表明しています。以下は、目的に応じて選択的に適用できる例です。

# 1) すべての学習用 AI クローラーをブロックする（AI 検索の可視性は別）
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# 2) 学習はブロックしつつ ChatGPT 検索の可視性は許可する
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

# 3) 特定のボットのクロール速度のみを制限する
User-agent: ClaudeBot
Crawl-delay: 1

重要なのは、トークンを正しく記述することです。たとえば、GPTBotGPTBotをブロックしても、ChatGPT 検索ボットのOAI-SearchBotは別のエンティティであるため、意図したポリシーを有効にするには両方のトークンを明示的に記載する必要があります。同様に、Anthropic のClaudeBot（学習用）とClaude-SearchBot（検索用）は分離されています。

IP ベースのブロッキングより robots.txt を優先する

一部の運営者（Anthropic、OpenAI、Common Crawl）は、自社ボットの IP 一覧を JSON 形式で公開しています（たとえば、Anthropic はclaude.com/crawling/bots.json、Common Crawl はindex.commoncrawl.org/ccbot.json）。ただし Anthropic は IP ベースのブロッキングを推奨していません。これは、ボットが robots.txt を読み取るためのリクエストまでブロックしてしまう可能性があり、その場合、オプトアウトの意図が実際には尊重されない可能性があるためです。Anthropic と Common Crawl はまた、自社ボットを装う偽のクローラーが存在すると警告しており、公開された IP 一覧または逆引き DNS ルックアップによって真正性を確認するよう助言しています。

証拠と実際の事例

AI クローラーのシェアと動作は、公式ドキュメントと統計によって確認されています。

OpenAI公式ドキュメント: OpenAI は、GPTBot（学習）、OAI-SearchBot（ChatGPTの検索可視性）、ChatGPT-User（ユーザーリクエスト）、OAI-AdsBot（広告ページ検証）を含む複数のクローラーを個別に運用しており、それぞれのボットの目的と robots.txt のトークンを文書化しています。
Anthropicサポートドキュメント: Anthropic は、ClaudeBot（学習）、Claude-User（ユーザーリクエスト）、Claude-SearchBot（検索インデックス作成）の3つのボットを運用しており、これらすべてが robots.txt の「クロールしない」シグナルを尊重し、CAPTCHA などの回避防止措置も遵守すると述べています。
Google公式ドキュメント: Google は、Google-Extendedをブロックしても「Google Search への掲載には影響せず、ランキングシグナルとしても使用されない」と述べています。つまり、Gemini の学習拒否と検索可視性は独立して管理されます。
Cloudflareのトラフィック分析（2025年5月）: すべてのクローラーを通じて、Googlebot が約50%で最大シェアを占め、AI特化型クローラーでは GPTBot が約30%、ClaudeBot が約21%、Meta-ExternalAgent が約19%を占めていました。GPTBot の生リクエスト数は前年比305%増加しました。

このように、AIクローラーのトラフィックは急速に増加しており、学習用ボットと検索用ボットが明確に分かれていることはサイト運営者にとって重要なポイントです。コンテンツを AI 学習から除外したいのか、AI検索の回答で引用されたいのかによって、robots.txt のポリシーを使い分けることができます。

AIクローラー