クローキング
クローキングとは、検索エンジンのボットには実際のユーザーとは異なるコンテンツやURLを表示し、ランキングを操作して訪問者を欺く行為です。Googleはこれをスパムポリシー違反として扱い、ランキングの低下や検索結果からの完全な削除によって対処します。
クローキングとは、検索順位を操作するために、検索エンジンクローラーには人間の訪問者とは異なるコンテンツやURLを意図的に提供することです。
これはGoogleの検索スパムポリシーに明確に違反しており、順位の下落やインデックスからの削除を引き起こす可能性があります。
Dynamic renderingは、クローラーとユーザーに実質的に同じコンテンツを表示するため、クローキングではありませんが、まったく異なるコンテンツを提供する場合はクローキングに該当します。
改ざんされたサイトは、所有者の知らないうちにクローキングに悪用されることがあり、そのため意図の有無にかかわらずサイトが被害を受けることがあります。
ボットとユーザーに同一のコンテンツを提供することが、それを避けるための最も確実な原則です。
クローキングの定義
クローキングとは、リクエストが検索エンジンのボット（クローラー）から来たのか、実際のユーザーから来たのかによって、異なるコンテンツやURLを表示する手法です。Googleはクローキングを「検索順位を操作しユーザーを欺く意図で、ユーザーと検索エンジンに異なるコンテンツを表示すること」と定義しており、検索結果がユーザーの期待と一致しなくなるため、スパムポリシー違反として分類しています。
重要なのは意図と差異の2点です。典型的なクローキングでは、ユーザーには意味のないページを見せる一方で、ボットには対象キーワードを詰め込んだページを見せたり、User-AgentやIPアドレスによってコンテンツを分岐させ、検索エンジンだけが別バージョンを見られるようにしたりします。
クローキングの一般的な例
Googleの検索スパムポリシーのドキュメントには、次のような例が挙げられています。
検索エンジンには旅行関連のコンテンツを表示し、実際のユーザーには割引医薬品を販売するページを表示する。
人間ではなく検索エンジンがページを要求した場合にのみ表示されるテキストやキーワードを挿入する。
ユーザーには画像を表示し、検索エンジンにはまったく異なるテキストブロックを与える場合や、ボットが使用するIPレンジのみに別のコンテンツを返す場合など、他のバリエーションもクローキングに該当します。
Dynamic Renderingとの違い
ボットとユーザーに異なるレスポンスを返すことが、直ちにクローキングになるわけではありません。よくある正当なケースとしては dynamic rendering があり、クローラーにはJavaScriptベースのページのインデックスを助けるためにサーバーサイドで事前レンダリングされたHTMLを返し、ユーザーにはクライアントレンダリング版を表示します。
Googleは、dynamic rendering が同等のコンテンツを生成する限り、一般に「Googlebot は dynamic rendering をクローキングとは見なさない」と述べています。言い換えると、判断基準はコンテンツの同等性です。Googleの言葉を借りれば、「ユーザーには猫のページを提供し、クローラーには犬のページを提供する」サイトはクローキングです。
観点 | クローキング | 動的レンダリング |
|---|---|---|
意図 | ランキング操作とユーザーの欺瞞 | JavaScriptコンテンツのインデックス登録支援 |
ボット向けコンテンツとユーザー向けコンテンツ | 根本的に異なる | 実質的に同じ |
ポリシー上の判定 | スパムポリシー違反 | 違反ではない（コンテンツが同一の場合） |
ペナルティのリスク | ランキング低下またはインデックス削除 | なし |
とはいえ、Googleは動的レンダリングを推奨される解決策ではなく一時的な回避策と見なしており、その複雑さとリソース負荷のため、代わりにサーバーサイドレンダリング、静的レンダリング、またはハイドレーションを優先するよう勧めています。さらに、動的レンダリングを使用してボットとユーザーにまったく異なるコンテンツを提供する場合、その時点でクローキングになります。
ペナルティとその理由
クローキングは、Googleの検索スパムポリシーに対する明確な違反です。Googleは、違反サイトに対してランキング低下または検索結果からの完全削除（インデックス削除）を適用する場合があると述べています。ペナルティはアルゴリズムによって自動的に適用されることもあれば、1つのmanual actionおよび Search Console で報告されます。
重要な注意点として、クロークィングは、侵害されたサイトで攻撃者が悪意のある変更を隠すために使うことがあります。クロークィングは所有者の意図に関係なく発生し得るため、定期的なセキュリティレビューとインデックス状況の監視が不可欠です。
回避ガイドライン
提供する同じコンテンツとURLを検索エンジンのボットとユーザーの両方に対して
配信します。
User-Agent や IP アドレスによってコンテンツを分岐させ、検索エンジンにだけ別のバージョンを見せることはしないでください。
JavaScript、画像、またはペイウォールを使用している場合でも、Googlebot がユーザーと同じ本文コンテンツにアクセスできるようにしてください。dynamic renderingを使用している場合は、ボットに配信される事前レンダリング済みの出力が、ユーザーに表示される画面と実質的に同じであることを定期的に確認してください。
Search Console の URL 検査ツールを使用して、Google が実際にレンダリングしている内容を確認し、それを人が見る内容と比較してください。
ハックによる cloaking を防ぐには、セキュリティパッチとアクセス制御を最新に保ち、インデックス登録されたページに不審なコンテンツがないか確認してください。