自社の公開ファイルで確認したこと
ウェブ・コロのrobots.txtには、OAI-SearchBot、GPTBot、ChatGPT-UserのそれぞれにAllow: /が書かれています。Google-Extendedの指定もあります。10月7日の取得時には、これらの明示的な許可を確認できました。
ここで記録しているのは、公開ファイルに何が書かれていたかです。実際に各クローラーが訪れた時刻や、回答に引用された回数は、このファイルからは分かりません。アクセスの意図、配信の状態、検索結果での扱いを、別の確認として残します。
- 2026年10月7日に取得した公開設定
- ユーザーエージェントごとの許可指定
- 実際のアクセスや引用とは分けた記録
OpenAIのアクセスは、目的がそれぞれ違う
OpenAIの公式説明では、OAI-SearchBotはChatGPTの検索、GPTBotはモデル学習に使われる可能性のある収集を担います。この二つの設定は独立しています。検索のための許可を、学習への許可と同じ判断にする必要はありません。
ChatGPT-Userはユーザー操作に伴うアクセスで、自動巡回や検索掲載の判定を担うものではありません。ユーザーが起点となるため、robots.txtの規則が適用されない場合もあると説明されています。自社ファイルにAllowを書いたことだけで、すべてのアクセスを制御できると扱わないようにします。
Google-Extendedの許可だけで、AI検索への掲載は決まらない
Google Search Centralの説明では、検索のAI機能に対するクロールの管理にはGooglebotを使います。Google-Extendedは、Googleの一部の別システムに関する学習やグラウンディングの制御として案内されています。
AI OverviewsやAI Modeの参照リンクには、ページがインデックスされ、検索でスニペットを表示できることなどの基本条件が関わります。特別なAI用ファイルや専用の構造化データが必須という説明ではありません。自社でllms.txtを置いていることも、それだけで掲載を保証する根拠にはしません。
設定確認と成果の確認を、別の記録にする
公開ファイルの確認では、対象URL、取得日、該当する指定を記録できます。一方、回答での引用を調べるなら、質問文、利用サービス、確認日、回答中の参照URLが必要です。前者が整ったから後者も改善した、とつなげてしまうと検証の根拠が抜けます。
今回の取得で分かったのは自社の設定内容です。引用数、推薦数、問い合わせ数の増加は確認していません。修正の経緯は10月1日の自社サイト診断の記録にまとめています。自社サイトの確認範囲を相談したい場合は、対象URLと困っている表示・導線をお問い合わせからお知らせください。
- 設定確認の取得日と対象URL
- 引用確認の質問文・サービス・参照URL
- 実測していない成果との区別
参照した公開情報
公開情報の確認日：2026年10月7日。