Googlebot
Googlebotは、Google検索がウェブページを収集するために使うクローラーの名称です。スマートフォン向けクローラーが多くのサイトで主に使われます。
30秒でわかる要点
Googlebotは、Google検索がウェブページを収集するために使うクローラーの名称です。スマートフォン向けクローラーが多くのサイトで主に使われます。
リンクやサイトマップからURLを発見し、ページを取得して必要に応じてレンダリングします。
robots.txtだけでなく、WAFやCDNがGooglebotを誤って遮断していないか確認します。
ユーザーエージェント名は偽装できます。アクセス元の検証が必要な場合は、Googleが案内するDNS確認方法を使います。
サーバーログでGooglebotの訪問URL、ステータス、頻度を確認し、重要ページの未訪問を探します。
Googlebotの役割
Googlebotは、Google検索がウェブページを収集するために使うクローラーの名称です。スマートフォン向けクローラーが多くのサイトで主に使われます。
主な検索表記：Googlebot、Google bot
Googlebotが関わる取得の流れ
リンクやサイトマップからURLを発見し、ページを取得して必要に応じてレンダリングします。取得結果はGoogleのシステムで処理され、インデックス登録の可否が判断されます。
サイト運営での確認方法
robots.txtだけでなく、WAFやCDNがGooglebotを誤って遮断していないか確認します。モバイル表示の本文と内部リンクも検証します。
Googlebotで起きやすい誤解
ユーザーエージェント名は偽装できます。アクセス元の検証が必要な場合は、Googleが案内するDNS確認方法を使います。
実務チェックリスト
robots.txtだけでなく、WAFやCDNがGooglebotを誤って遮断していないか確認します。
モバイル表示の本文と内部リンクも検証します。
サーバーログでGooglebotの訪問URL、ステータス、頻度を確認し、重要ページの未訪問を探します。
参考資料
仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。
Google の検索エンジンの仕組み（Google 検索セントラル）
robots.txt の概要とガイド（Google 検索セントラル）