サーバーログ分析
サーバーログ分析は、ウェブサーバーやCDNのアクセス記録から、クローラーと利用者の実際のリクエストを調べる方法です。
30秒でわかる要点
サーバーログ分析は、ウェブサーバーやCDNのアクセス記録から、クローラーと利用者の実際のリクエストを調べる方法です。
URL、時刻、ステータス、ユーザーエージェント、応答時間などを使い、重要ページの訪問、エラー、無駄なクロールを確認します。
検証済みボットを分類し、重要URLと低価値URLへの訪問比率を比較します。
ユーザーエージェント名だけでは偽装ボットを除外できません。個人情報を含むログの保管・権限にも注意します。
対象期間、ログ欠損、タイムゾーン、ボット検証方法を分析結果と一緒に記録します。
サーバーログ分析が示すもの
サーバーログ分析は、ウェブサーバーやCDNのアクセス記録から、クローラーと利用者の実際のリクエストを調べる方法です。
主な検索表記：SEO ログ分析、サーバーログ分析
サーバーログ分析を読むときの前提
URL、時刻、ステータス、ユーザーエージェント、応答時間などを使い、重要ページの訪問、エラー、無駄なクロールを確認します。
計測と改善へのつなげ方
検証済みボットを分類し、重要URLと低価値URLへの訪問比率を比較します。デプロイ前後で5xxや本文サイズの変化も確認します。
サーバーログ分析で起きやすい誤解
ユーザーエージェント名だけでは偽装ボットを除外できません。個人情報を含むログの保管・権限にも注意します。
実務チェックリスト
検証済みボットを分類し、重要URLと低価値URLへの訪問比率を比較します。
デプロイ前後で5xxや本文サイズの変化も確認します。
対象期間、ログ欠損、タイムゾーン、ボット検証方法を分析結果と一緒に記録します。
参考資料
仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。
Google の検索エンジンの仕組み（Google 検索セントラル）
Overview of OpenAI crawlers（OpenAI）