Meta Robots Tag
meta robotsタグは、HTML文書の<head>内に配置される<meta name="robots">要素で、検索エンジンに対してページをどのようにインデックスし、検索結果に表示するかについてページ単位の指示を与えます。noindexやnofollowなどのディレクティブを通じて、ページごとにインデックスの可否やリンクの追跡可否を制御します。
meta robotsタグは、個別ページのインデックス登録やクロール方法を検索エンジンに伝えるHTMLベースの手段であるHTMLの
<meta name="robots">要素です。<head>内に配置されます。最も一般的なディレクティブは
noindex（ページを検索結果に表示しない）、nofollow（ページ上のリンクをたどらない）、nosnippet（スニペットを生成しない）、およびmax-snippet（スニペットの長さを制限する）です。これは、クロール自体をブロックするrobots.txtや、同じディレクティブをページ内ではなくHTTPヘッダーで送るX-Robots-Tagとは異なります。robots.txtによってブロックされたページでは、meta robotsタグは無視されます。
概要
meta robotsタグは、<meta name="robots">要素で、<head>HTMLドキュメントの一部であり、検索エンジンが検索結果でその単一ページをどのようにインデックスし、表示するかを制御します。値name="robots"はすべてのクローラーに適用されます。特定のクローラーを対象にするには、たとえばname="googlebot"のように、そのクローラー名を指定します。複数の指示は、カンマで区切ってcontent属性に組み合わせることができます。
主要な指示
指示 | 意味 |
|---|---|
| このページを検索結果に表示しないようエンジンに指示する |
| このページ上のリンクをたどらないようエンジンに指示する |
| Equivalent to combining |
| nosnippet検索結果でのテキストスニペットと動画プレビューを非表示にする（AI overviews |
| indexifembedded |
| テキストスニペットを指定した文字数に制限します（ |
| 画像プレビューのサイズを制御します（ |
| 動画プレビューの最大再生時間を秒単位で制限します（ |
| このページ上の画像がインデックス登録されるのを防ぎます |
| 検索結果で翻訳版が表示されるのを防ぎます |
| 指定した日付（RFC 822、RFC 850、または ISO 8601 形式）の後にページを検索結果から削除します |
なお、noarchive、nocache、およびnositelinkssearchboxは、Google 検索ではもはや使用されていないディレクティブです。
コード例
インデックス登録をブロックし、リンクの追跡も停止する基本形式:
<meta name="robots" content="noindex, nofollow">スニペットと画像プレビューを制御するために、特定のクローラーのみを対象にする例:
<meta name="googlebot" content="nosnippet, max-image-preview:large">本文の一部だけをスニペットから除外するには、次のdata-nosnippet属性を使用します:
<p>Visible sentence <span data-nosnippet>excluded from snippet</span>.</p>robots.txt および X-Robots-Tag との違い
これら 3 つは異なる層で機能し、配置される場所も異なります。meta robots タグはHTML 内に配置されるページレベルのインデックスおよび表示制御です<head>;X-Robots-Tagは HTTP レスポンスヘッダーを通じて同じ निर्देश示を伝えます。さらに、robots.txtは、クロール（取得）自体をブロックするファイル単位の制御です。
Type | Where it lives | Role |
|---|---|---|
Meta robots tag |
| Per-page control of indexing and search-result display (HTML pages only) |
X-Robots-Tag | HTTP response header | ヘッダー経由で同じ指示を送信します。画像や PDF などの HTML 以外のファイルや、サイト全体のルールに適しています |
robots.txt | サイトのルートにあるテキストファイル | クローラーがリソースを取得すること自体をブロックします |
重要な違いは、それぞれが有効になるタイミングです。Google の公式ドキュメントによると、robots.txt によってブロックされたページはクローラーに取得されないため、その中にある meta robots タグや X-Robots-Tag の指示は読み取ることができず、無視されます。したがって、特定のページを確実にインデックスから除外したい場合は、robots.txt でブロックするのではなく、クロールを許可したうえでnoindexmeta robotsタグ（または X-Robots-Tag）。robots.txt によるブロックは「取得しない」指示にすぎず、「インデックスしない」指示ではありません。ブロックされた URL でも、別の経路で発見されればインデックスされる可能性があります。
さらに、meta robotsタグは画像、動画、PDF などの非HTMLリソースには適用できません。これらには HTML の<head>が存在しないためです。そのような場合は X-Robots-Tag ヘッダーを使用します。X-Robots-Tag には、正規表現やサーバー設定を通じてサイト全体のルールを一括で適用できるという利点もあります。