GPTBot

30秒でわかる要点

• GPTBotは、OpenAIが自社モデルの改善に利用する可能性のあるウェブコンテンツを収集するためのユーザーエージェントです。

• サイト所有者はrobots.txtでGPTBotへの許可や拒否を指定できます。

• モデル学習への利用方針を決め、GPTBot、OAI-SearchBot、ChatGPT-Userを別々に設定します。

• GPTBotを許可すればChatGPT検索に表示される、拒否すれば一切参照されない、という単純な対応ではありません。各ボットの目的を混同しないようにします。

• robots.txtに意図したルールがあり、CDN設定と矛盾していないか確認します。

GPTBotの役割

GPTBotは、OpenAIが自社モデルの改善に利用する可能性のあるウェブコンテンツを収集するためのユーザーエージェントです。

主な検索表記：GPTBot

GPTBotが関わる取得の流れ

サイト所有者はrobots.txtでGPTBotへの許可や拒否を指定できます。OpenAIの検索用クローラーやユーザー操作に伴う取得とは目的が分かれています。

サイト運営での確認方法

モデル学習への利用方針を決め、GPTBot、OAI-SearchBot、ChatGPT-Userを別々に設定します。変更後はログで実際の応答を確認します。

GPTBotで起きやすい誤解

GPTBotを許可すればChatGPT検索に表示される、拒否すれば一切参照されない、という単純な対応ではありません。各ボットの目的を混同しないようにします。

実務チェックリスト

• モデル学習への利用方針を決め、GPTBot、OAI-SearchBot、ChatGPT-Userを別々に設定します。

• 変更後はログで実際の応答を確認します。

• robots.txtに意図したルールがあり、CDN設定と矛盾していないか確認します。

参考資料

仕様や検索機能は変更されることがあります。実装時には、次の公式資料の最新版も確認してください。

• Overview of OpenAI crawlers（OpenAI）

• Robots Exclusion Protocol（IETF RFC 9309）