クロールバジェット
クロールバジェットは、検索エンジンが一定期間にサイトをクロールする量を説明する概念です。主に大規模サイトで運用上の意味があります。
30秒でわかる要点
クロールバジェットは、検索エンジンが一定期間にサイトをクロールする量を説明する概念です。主に大規模サイトで運用上の意味があります。
サーバーが受けられる負荷と、検索エンジンがクロールしたい需要などで訪問量が決まります。
無限URL、重複パラメータ、エラー、不要なリダイレクトを減らします。
ページ数が少ないサイトでは、内部リンク不足、noindex、canonical、本文不足が先に疑うべき原因です。
クロールされていない重要URLと、繰り返し取得される不要URLをログから抽出します。
クロールバジェットの役割
クロールバジェットは、検索エンジンが一定期間にサイトをクロールする量を説明する概念です。主に大規模サイトで運用上の意味があります。
主な検索表記：クロール バジェット、クロールバジェット
クロールバジェットが関わる取得の流れ
サーバーが受けられる負荷と、検索エンジンがクロールしたい需要などで訪問量が決まります。小規模サイトのインデックス問題をすべてバジェットで説明するのは適切ではありません。
サイト運営での確認方法
無限URL、重複パラメータ、エラー、不要なリダイレクトを減らします。ログで重要URLと低価値URLへの訪問配分を比較します。
クロールバジェットで起きやすい誤解
ページ数が少ないサイトでは、内部リンク不足、noindex、canonical、本文不足が先に疑うべき原因です。
実務チェックリスト
無限URL、重複パラメータ、エラー、不要なリダイレクトを減らします。
ログで重要URLと低価値URLへの訪問配分を比較します。
クロールされていない重要URLと、繰り返し取得される不要URLをログから抽出します。
参考資料
仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。
Google の検索エンジンの仕組み（Google 検索セントラル）
サイトマップの作成と送信（Google 検索セントラル）