AIクローラーをブロックすべきか｜robots.txtの判断と、止めると失うもの
「AIに勝手に学習されたくない」「GPTBotはブロックしたほうがいいと聞いた！」と迷っていませんか？
ただ、robots.txtに1行足すだけの作業に見えて、書き方によってはAI検索から自社が消えます。
この記事では、AIクローラーが学習用と回答用に分かれている仕組み、4社それぞれのクローラー名、ブロックしたときに失うもの、robots.txtでは止まらない取得があること、そして何を許可して何を止めるかの判断までを解説します。
AI検索への対応を考えている事業者の方が、自社の方針を決められるようになります。
AIクローラーは、学習用と回答用で分かれている
AIクローラーをひとまとめに考えると、判断を誤ります。各社とも用途ごとに別の名前を用意しており、robots.txtでの指定も独立しています。
学習に使うもの
モデルの学習用にコンテンツを集めるクローラーです。これを拒否すると、そのサイトの内容を学習データに使わないという意思表示になります。
ここを止めても、AI検索の回答に出るかどうかには影響しません。学習と回答は別の仕組みで動いているためです。
検索結果に出すためのもの
AIが回答を作るときに参照する索引を作るためのクローラーです。ここを拒否すると、そのAIの回答に自社のページが出てこなくなります。
集客のためにAI検索へ対応したいなら、止めてはいけないのがこちらです。学習を嫌ってまとめて拒否すると、ここまで一緒に閉じてしまいます。
利用者の質問に応じて取りに来るもの
利用者がAIに質問した際、その場でページを見に来る取得です。自動で巡回するものではなく、人の操作が起点になります。
この種類は扱いが特殊で、robots.txtの指定が適用されない場合があります。詳しくは後述します。
4社のAIクローラーと、robots.txtでの名前
robots.txtはサイトの直下に置くテキストファイルです。User-agentの行でクローラー名を指定し、続くDisallowの行で止める範囲を書きます。名前を間違えると、何も止まりません。
OpenAIはOAI-SearchBotとGPTBot
公式ドキュメントでは、検索表示用がOAI-SearchBot、学習用がGPTBotと説明されています。この2つは互いに独立していて、OAI-SearchBotを許可しながらGPTBotだけを拒否する組み合わせが、公式に例として挙げられています。
加えてChatGPT-Userがあり、これは利用者の操作で動くものです。公式には、検索に表示されるかどうかの判定には使われないと書かれています。
PerplexityはPerplexityBotとPerplexity-User
PerplexityBotは検索結果に表示するためのもので、公式には基盤モデルの学習には使わないと明記されています。つまりここを拒否しても、学習を止める効果はありません。
Perplexity-Userは利用者の操作で動く取得です。こちらも学習には使われません。
AnthropicとGoogleの扱い
Anthropicは3つに分けており、学習用がClaudeBot、利用者の操作で動くものがClaude-User、検索品質のためにインデックスするものがClaude-SearchBotです。ヘルプセンターには、Claude-SearchBotを無効化すると検索結果での見え方が下がる可能性があると書かれています。
Googleは仕組みが違います。Google-Extendedは独自のユーザーエージェント文字列を持たず、robots.txtの制御だけに使うトークンです。公式には、これがGoogle検索での登録に影響することも、ランキングの要素として使われることもないと明記されています。対象になるのは、Geminiのモデル学習とグラウンディングです。
AIクローラーをブロックすると何が起きるか
まとめて拒否する前に、何を得て何を失うかを分けて考えます。目的が学習の拒否なのか、AI検索からの露出をなくすことなのかで、書く行が変わります。
学習を止めても検索表示は残せる
学習用だけを拒否すれば、AI検索の回答に出る余地は残ります。学習に使われることへの抵抗と、AI経由で見つけてもらいたい気持ちは両立します。
実際、OpenAIの公式ドキュメントではこの組み合わせが例として示されています。両方を許可している場合、重複したクロールを避けるため片方の結果を両方の用途に使うことがあるとも書かれています。
検索用を止めると回答に出なくなる
検索表示用を拒否した場合、そのAIの回答には出てこなくなります。OpenAIの公式には、オプトアウトしたサイトはChatGPTの検索回答に表示されないと書かれています。
集客を目的にサイトを運営しているなら、これは広告費を払って露出を消しているのに近い判断です。学習を止めたいだけなら、対象を絞る必要があります。
robots.txtで止まらないAIクローラーがある
ここが見落とされがちな部分です。robots.txtに書けばすべて止まる、という前提が成り立ちません。
利用者の操作で取りに来る場合
Perplexityの公式ドキュメントには、Perplexity-Userについて、利用者が要求した取得であるため一般にrobots.txtのルールを無視すると書かれています。OpenAIも、ChatGPT-Userは利用者が起点となる操作であるためrobots.txtのルールが適用されない場合があるとしています。
拒否したつもりでも、人がAIに質問したときの取得は届きます。「robots.txtに書いたのにアクセスがある」という状況は、設定ミスとは限りません。
止めたいならサーバー側で見る
本当に遮断したい場合は、WAFやIPアドレスの制限といったサーバー側の設定になります。各社とも使用するIPアドレスの範囲を公開しているため、それを使って判断する形です。
ただし手間もリスクもあります。誤って通常の検索クローラーまで遮断すると、順位そのものを失います。
どのAIクローラーを許可して、何を止めるか
判断は下から順です。まず検索用を許可し、学習用は自社の方針で決めます。
集客が目的なら検索用は許可する
問い合わせを増やすためにサイトを運営しているなら、検索表示用を止める理由はほとんどありません。AI経由の流入を自分から閉じることになります。
学習用については、判断が分かれます。記事を資産と考えるなら拒否も選べますし、名前を知られる機会と考えるなら許可も選べます。どちらが正解とは言えません。
判断がつかないときは触らない
方針が固まっていないなら、robots.txtは触らないでおきます。何も書かなければ、既定では取得を許可した状態です。
また、変更してもすぐには反映されません。OpenAIとPerplexityはどちらも、反映まで24時間ほどかかると案内しています。直後にログを見て効いていないと判断するのは早すぎます。
まとめ
AIクローラーは学習用と回答用に分かれており、robots.txtでの指定も独立しています。まとめて拒否すると、学習を止めると同時にAI検索からも消えます。
集客が目的なら、検索表示用は許可したうえで、学習用をどうするかだけを決める形になります。加えて、利用者の操作で動く取得はrobots.txtの指定が及ばない場合があるため、完全な遮断を期待するとずれます。
ちなみにこのサイトは、どのAIクローラーも止めていません。記事はAI検索から見つけてもらうために書いているので、学習を拒否して露出を減らす選択に実利がないと判断したためです。
まずは自社のrobots.txtを開き、過去にコピーした設定が残っていないかを確認するところから始まります。数年前のテンプレートには、いま止めるべきでない名前が入っていることがあります。
