robots.txt vs Meta Robots、クロール遮断と検索除外はどう違うのでしょうか？
robots.txtのDisallowはクロール要求の範囲を管理し、Meta Robotsのnoindexは読み取り可能なページを検索結果から除外するよう指示します。機密資料の保護は、両者ではなく認証で対応すべきです。
3行要約
robots.txtはクロール要求を管理し、Meta Robotsはページが読み込まれた後のインデックス・表示方法を指示します。
Disallowは検索削除の命令ではなく、noindexを読めないように同時に塞ぐと、検索除外の処理が遅れたり不可能になったりすることがあります。
既存サイトのrobots.txt、公開HTMLまたはHTTPヘッダーと実際の検索状況をあわせて照合して、設定の衝突を見つける必要があります。
robots.txtとMeta Robotsの違い
管理者専用URLを検索から消そうとしてrobots.txtにDisallowを入れたのに、アドレスが結果に残り続けることがあります。逆にページにnoindexを入れて、robots.txtで同時に塞ぐとGooglebotが新しい指示を読めません。クロール要求を減らすことと、検索結果からページを外すことは別の設定です。
比較基準 | robots.txt | Meta Robots·X-Robots-Tag |
|---|---|---|
主な目的 | クロール要求の管理 | インデックス・表示の指示 |
検索除外 | 直接は担当しない | クロール可能なnoindexの使用 |
適用対象 | パスとユーザーエージェント | HTMLまたはHTTP応答 |
機密情報 | 保護手段ではない | 保護手段ではなく、認証が必要 |
robots.txtとMeta Robotsのどちらを先に選ぶ前に、実際の事例を見てみます。HTML、PDF、機密情報を同じ行で比較し、修正前後の結果を残すと、選定基準がツールの好みではなく運用上の証拠に基づくようになります。
Disallowで検索結果を削除できますか？
robots.txtはドメインルートに置くテキストファイルです。ユーザーエージェントごとにどのパスをリクエストできるかを示し、大量フィルターURLや検索に不要なパスのクロールを管理する際に使えます。ルールはホスト、プロトコル、ポート範囲、そしてクローラーがサポートする方式によって異なるため、実際の公開ファイルと対象ユーザーエージェントをあわせて確認する必要があります。
Googleはrobots.txtを検索結果の削除手段やセキュリティ対策として使わないよう案内しています。ブロックされたURLでも、外部リンクなどでアドレスが知られると、内容説明なしで検索結果に表示されることがあります。機密資料はrobotsルールではなく、認証とアクセス権限で保護しなければなりません。
noindexはどのような条件で機能しますか？
HTMLページには<meta name="robots" content="noindex">を入れてGoogleに検索結果からの除外を指示できます。PDFや画像のようにHTML<head>を使えないファイルには、HTTPレスポンスのX-Robots-Tag: noindexを使用できます。CMSの検索露出スイッチが、レンダリングされたHTMLやレスポンスヘッダーに実際にどの値を入れているかも確認する必要があります。
行いたいこと | robots.txt | メタロボットタグ・X-Robots-Tag |
|---|---|---|
特定パスのクロール要求を管理 | 使用目的に適合 | リクエスト自体は遮断しない |
HTMLページをGoogle検索から除外 | 不適切 | クロール可能な状態の |
PDFをGoogle検索から除外 | 適切でない | HTTP |
機密資料の保護 | 使用してはいけない | 使用してはいけない、認証が必要 |
nofollowもnoindexとは異なります。nofollowはページ上のリンクをたどらないようにする指示であり、ページ自体を検索結果から除外する指示はnoindexです。複数のメタ指示が競合する場合、Googleはより制限の厳しいルールを適用することがあるため、テンプレートと個別ページの設定が重複していないか確認します。
2つの指示を重ねると何が起きるのでしょうか？
Googleがnoindexを確認するには、まずページをクロールできる必要があります。すでにrobots.txtでブロックされているURLにメタタグだけを追加しても、新しい指示を再読み込みできない場合があります。検索から除外することが目的なら、Googlebotのアクセスを許可し、noindex応答を返したうえで、URL検査やページのインデックス登録レポートで処理状況を確認します。
ページを実際に削除した場合は、通常の404または410応答も選択肢です。急いで検索画面を非表示にしたい場合はSearch Consoleの削除ツールを使えますが、これは一時的な措置です。元のURLにはnoindex、削除応答または認証などの継続的な処理が別途必要であり、どの方法も処理時点を確定しません。
Google AIと他のAIクローラーは同じ設定でしょうか？
Google 検索の公式ドキュメントではnoindexは、ページを Google 検索結果に表示しないようにする指示です。AI 概要と AI モードの参照リンクも Google のインデックスとスニペット表示の対象であることが前提となるため、検索除外の設定はこれら機能の候補状態にも影響します。だからといって、同じ設定で他社の AI サービスやモデル学習の収集まで制御されるとは言えません。
AI サービスごとにクローラートークン、収集目的、robots.txt の遵守ポリシーは異なる場合があります。OpenAI も ChatGPT 検索用の OAI-SearchBot と、学習用途の可能性がある GPTBot を区別しています。GEO 運用では、Googlebot の規則、学習目的の bot と検索用 bot をひとまとめにせず、各サービスの公式ドキュメントを個別に確認します。
robots.txt と Meta Robots を併用する実務判断
robots.txt と Meta Robots のどちらかを先に選ぶのではなく、クロール要求、検索除外、HTML と PDF 項目の基準値を作成します。この値がなければ修正前後を比較できず、担当者が変わるたびに同じ診断を繰り返すことになります。影響の大きい URL と質問を少数選定したうえで、誰がどの値をいつ修正したかを記録します。
robots.txt と Meta Robots の機微情報項目も、全体平均だけでは見ません。新しく修正したページ、そのままにしたページ、季節要因の影響を受けるページを分けることで差が見えてきます。結果が想定と異なる場合は、新しいページを増やす前に、原文不足、技術的ブロック、外部情報、測定の空白を確認します。
参考資料
インデックス制御を続けて確認する
資料確認日: 2026年8月9日。この説明は Google 検索を基準としており、他の検索エンジンと AI サービスの対応指示は公開前に各公式ドキュメントであらためて確認する必要があります。
既存サイトへの適用範囲
問題のある URL と公開されている robots.txt の URL だけでも、初回点検は可能です。この運用方法では、実際のレスポンスヘッダー、レンダリングされたメタタグ、クロール遮断ルールを併せて読み取り、SEO・GEO 設定のどこで衝突が起きているかを診断します。
robots.txtとMeta Robotsの比較後のSearch OS運用
現在のサイトにSearch OSを連携すると、robots.txtとMeta Robotsの比較において検索除外、HTMLとPDFの項目を同じ質問グループとして追跡できます。全面移行なしで公開URLと原文を照合し、影響の大きい修正から適用します。
Search OSが内部実績を集計した結果、導入顧客企業のSEOとAI検索露出は平均88%以上増加しました。成果が出た後も、robots.txtとMeta Robotsに関連する検索露出、AI回答の正確性と引用を継続して確認します。既存資産を守りながら、変化が必要な部分のみを補完し、現在の環境で可能な最良の露出状態を維持します。