Meta Robots Tag vs X-Robots-Tag、指示はどこに入れるべきでしょうか？

3行要約

• Meta Robots TagはHTML内に入れるページ単位の指示であり、X-Robots-TagはHTTP応答ヘッダーに入れてHTMLやPDF・画像などの非HTMLファイルにも適用できます。

• どちらの方式もクローラーがURLにアクセスして指示を読み取れる必要があるため、robots.txtでブロックしたURLのnoindexを伝える用途には使うべきではありません。

• CMSで個別HTMLを管理するならmetaがシンプルで、ファイル種類・パス・大量応答をサーバー側で制御するならX-Robots-Tagが有利ですが、配信後は実際のレスポンスを確認する必要があります。

この2つの方式は何が違うのでしょうか？

Meta Robots TagはHTML文書のmeta name="robots"または特定の検索ボット名で指示を伝えます。編集画面でページごとにnoindex,nosnippet,max-snippetなどの値を管理できるため、一般的なWebページに適用しやすいです。

X-Robots-Tagは、Webサーバーやアプリケーションが送信するHTTP応答ヘッダーです。Googleの公式ドキュメントでは、robots metaで使えるルールをX-Robots-Tagにも指定できると説明しています。HTMLを編集できないPDF・動画・画像や、パスごとの一括ルールに使用できます。

Meta Robots Tagはいつ便利ですか？

コンテンツ担当者がCMSでページの公開状態を管理するなら、meta方式は直感的です。内部検索結果、キャンペーン終了ページのように、個別HTMLのインデックス可否をテンプレートフィールドで制御できます。検索結果スニペットの長さや画像プレビューのような表示指示も、ページ単位で管理できます。

ただし、ソースHTMLとレンダリング後のDOMが異なる場合は、実際にクローラーが何を読み取るのか確認する必要があります。JavaScriptが最初はnoindexを入れて後から削除する方式は、クロールのタイミングによって危険です。CMSプレビューと公開ページが同じテンプレートを共有していて、意図しないnoindexが配信されていないかも確認します。

まず4つを確認します。

• 公開HTMLにrobotsと特定bot向けmetaがいくつあるかを探します。

• テンプレート・プラグイン・JavaScriptがそれぞれ異なる指示を追加していないかを見ます。

• canonical・レスポンス状態とnoindexが同じページの目的を指しているか確認します。

• モバイル・言語・A/Bバージョンで同じ公開状態が維持されているか比較します。

一括制御の比較基準

PDFのようにHTML headがないファイルを検索結果から除外するには、レスポンスヘッダーが必要です。サーバー設定で特定拡張子全体に指示を適用したり、アプリケーションがファイル権限と状態に応じてヘッダーを動的に送信したりできます。CDNやストレージで元のヘッダーが維持されるか確認する必要があります。

一括ルールは強力な分、範囲のミスが大きくなります。/assets/パスや.pdf全体にnoindexを入れたが、検索に表示されるべきマニュアルまで除外される可能性があります。正規表現・パス条件と例外リストを確認し、代表URLだけでなく境界にあるファイルもサンプル検査します。

2つの指示が競合したらどうなるでしょうか？

Googleは、競合するrobotsルールではより制限の厳しいルールが適用されると案内しています。たとえば、ある場所でmax-snippet:50を指定し、別の場所でnosnippetを指定すると、より制限の厳しいnosnippetが適用されます。HTMLだけを見てindexと判断していても、HTTPヘッダーにnoindexがあれば結果は異なります。

indexはインデックスを許可する指示にすぎず、実際の登録を確定する命令ではありません。検索システムはページ品質、重複、canonical など他の条件もあわせて見ます。noindex を削除した後も、実際の再クロールとインデックス登録には時間がかかる場合があります。

公開検証の比較基準

robots.txt はクローラーが URL を取得する行為を管理し、robots meta と X-Robots-Tag はクロールされたコンテンツのインデックス・表示を制御します。Google は noindex 指示を読ませるには、URL を robots.txt でブロックしないよう案内しています。ブロックされた URL は外部リンクなどで発見され、URL だけが残る場合があります。

非公開情報の保護を noindex に委ねてはいけません。認証とアクセス制御で応答自体を保護する必要があります。noindex は検索結果の表示を管理する指示であり、権限システムではありません。

運用ではどの方法を選びますか？

ページ編集者が状態を変更でき、CMS が安定して HTML を出力するなら、meta を基本にします。非 HTML アセット、ファイルタイプ全体、またはサーバー応答条件を扱う場合は X-Robots-Tag を使います。同じ URL を 2 つのシステムが同時に制御しないよう、所有権を決めます。

配信前には URL タイプごとの期待値表を作成し、staging と production の実際の応答を比較します。配信後は 200・3xx・4xx 応答、キャッシュ HIT・MISS とモバイルユーザーエージェントのサンプルを確認します。Search Console のライブテストと実際のインデックス状態も区別します。

既存サイトへの適用範囲

SEO の記録には Meta Robots Tag と X-Robots-Tag の一括制御が露出・クリックに与えた影響を残します。GEO の記録には公開検証が AI 回答の言及・引用と連動した場面を別途残し、両結果を無理に統合しません。

この運用方式は既存の CMS・サーバー・CDN を置き換えずに、公開 URL の HTML と HTTP ヘッダーを併せて収集します。ページタイプごとの robots 指示の衝突、非 HTML ファイルの露出状態、robots.txt と noindex の誤った組み合わせを見つけ、修正範囲を整理します。

ドメインと除外・維持する URL の一覧をいただければ、この運用システムで期待状態と実際の応答を照合し、修正後に公開 HTML・ヘッダー・sitemap・インデックス可能状態を再検証します。Google の再クロール時点や実際のインデックス除外完了を即座に約束するものではありません。

Meta Robots TagとX-Robots-Tagの併用運用における実際の判断

Meta Robots TagとX-Robots-Tagのどちらかを先に選ぶのではなく、指示の位置、対象ファイル、管理主体の項目について基準値を作ります。この値がなければ、修正前後を比較できず、担当者が変わるたびに同じ診断を繰り返すことになります。影響の大きいURLと質問を少数選定したうえで、誰がどの値をいつ修正したかを記録します。

Meta Robots TagとX-Robots-Tagの一括制御項目も、全体平均だけでは見ません。新たに修正したページ、そのままにしたページ、季節性の影響を受けるページを分けてこそ、差が見えてきます。結果が予想と異なる場合は、新しいページを増やす前に、本文不足、技術的ブロック、外部情報、測定の空白を確認します。

参考資料

• Google Search Central: Robots meta tag and X-Robots-Tag specifications

• Google Search Central: Block Search indexing with noindex

• Google Search Central: Overview of crawling and indexing topics

• Google Search Central: Qualify outbound links

• Google Search Central: Crawling and indexing FAQ

インデックス制御を続けて見るなら

• robots.txt vs Meta Robots

• Noindex vs Disallow

• llms.txt vs robots.txt

Meta Robots TagとX-Robots-Tag比較後のSearch OS運用

Search OSを適用してMeta Robots TagとX-Robots-Tagの比較を始めても、Webサイトを新規作成する必要はありません。既存のドメインとCMSを維持したまま、一括制御や競合ルールの項目を検索結果、AI回答、引用URLにつなげ、実際のボトルネックだけを改善します。

Search OSの内部成果集計では、導入顧客のSEOとAI検索露出が平均88%以上増加しました。Meta Robots TagとX-Robots-Tag関連のURLも同じ質問で繰り返し測定し、改善幅が縮小したり新たなエラーが発生した区間を特定します。一回限りの診断で終わらせず、現在のサイトが生み出せる最良の検索・AI露出状態を維持できるよう運用します。