クロール

30秒でわかる要点

• クロールは、検索エンジンや各種ボットがURLへアクセスし、ページやファイルを取得する工程です。

• リンク、サイトマップ、過去のURL履歴などから新しいURLが発見されます。

• 内部リンクを整理し、重要URLが浅い階層から見つかるようにします。

• クロールされたことはインデックス登録されたことを意味しません。取得後に重複や品質など別の判断があります。

• 重要ページについて最終クロール日、応答コード、取得された本文を確認します。

クロールの役割

クロールは、検索エンジンや各種ボットがURLへアクセスし、ページやファイルを取得する工程です。

主な検索表記：クロール、クローリング SEO

クロールが関わる取得の流れ

リンク、サイトマップ、過去のURL履歴などから新しいURLが発見されます。取得頻度はサイトの状態、更新、重要度、サーバー応答などで変わります。

サイト運営での確認方法

内部リンクを整理し、重要URLが浅い階層から見つかるようにします。サーバーログで実際の訪問とエラーを確認します。

クロールで起きやすい誤解

クロールされたことはインデックス登録されたことを意味しません。取得後に重複や品質など別の判断があります。

実務チェックリスト

• 内部リンクを整理し、重要URLが浅い階層から見つかるようにします。

• サーバーログで実際の訪問とエラーを確認します。

• 重要ページについて最終クロール日、応答コード、取得された本文を確認します。

参考資料

仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。

• Google の検索エンジンの仕組み（Google 検索セントラル）

• サイトマップの作成と送信（Google 検索セントラル）