X-Robots-Tag
X-Robots-Tagは、HTTPレスポンスヘッダーでインデックスやスニペットの扱いを指定する方法です。
30秒でわかる要点
X-Robots-Tagは、HTTPレスポンスヘッダーでインデックスやスニペットの扱いを指定する方法です。
HTML以外のPDFや画像にもnoindexなどを設定できます。
重要URLへHEADとGETを送り、予期しないnoindexがないか確認します。
HTMLのmeta robotsが正常でも、HTTPヘッダー側のnoindexでインデックスされないことがあります。片方だけを見ないようにします。
公開ページ、PDF、画像の代表URLについてレスポンスヘッダーを保存して比較します。
X-Robots-Tagの役割
X-Robots-Tagは、HTTPレスポンスヘッダーでインデックスやスニペットの扱いを指定する方法です。
主な検索表記：X-Robots-Tag
X-Robots-Tagが関わる取得の流れ
HTML以外のPDFや画像にもnoindexなどを設定できます。サーバー、CDN、アプリケーションのどの層で付与されるかを把握する必要があります。
サイト運営での確認方法
重要URLへHEADとGETを送り、予期しないnoindexがないか確認します。ファイル形式別の制御は配信設定と一緒に管理します。
X-Robots-Tagで起きやすい誤解
HTMLのmeta robotsが正常でも、HTTPヘッダー側のnoindexでインデックスされないことがあります。片方だけを見ないようにします。
実務チェックリスト
重要URLへHEADとGETを送り、予期しないnoindexがないか確認します。
ファイル形式別の制御は配信設定と一緒に管理します。
公開ページ、PDF、画像の代表URLについてレスポンスヘッダーを保存して比較します。
参考資料
仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。
robots meta タグと X-Robots-Tag（Google 検索セントラル）