robots.txtでAI学習拒否を一括指定、主要4社が共通トークンに対応表明

何が発表されたか

• robots.txt の User-Agent 行に、クローラー名ではなくポリシートークン __usage_ai-training を書き、その下の Disallow / Allow でAI学習利用の可否を表明する方式。
• IETF の AI Preferences（AIPREF）ワーキンググループでの議論をもとにした Internet-Draft「Machine-Readable Training Preference Signal」が土台。提出は個人資格で、まだ正式な標準化プロセス上の地位はない。
• 新しいディレクティブや文法は導入しないため、既存の robots.txt パーサーには影響しない。
• 対応時期は各社でずれる。OpenAI は「数か月以内」、Google は2027年、Microsoft は2027年2月1日から読み取り開始、Anthropic は時期未定。
• トークンを書かない場合は「学習に関する意思表示なし」として扱われる。

実務への影響

クライアントサイトの robots.txt に、これまでの GPTBot Google-Extended ClaudeBot といったUA個別指定を積み上げる運用から、1ブロックで意思表示できる形に寄せられる。ただしクロール制御とは別物で、このトークンはクロール自体を止めない。「AI検索に出たいが学習には使わせたくない」という要望は、この2つを分けて設定することで初めて表現できる。

注意点が3つある。第1に、Google-Extended を明示していないサイトが共通トークンで学習拒否すると、Google-Extended も拒否扱いになる。Gemini のグラウンディング経由の流入を期待している場合は、Google-Extended を明示的に許可しておく必要がある。第2に、Microsoft の NoArchive / NoCache を使っているサイトは2027年3月1日までにページ単位設定へ移行が要る。第3に、各社が自社の既存コントロールや個別契約を優先しうると明記しており、書けば必ず守られるという保証ではない。

受託案件では、年内に慌てて書き換える必要はない。むしろ「オプトアウトしたいのか、AI検索には出たいのか」をクライアントと決めておく工程を、2027年初頭の対応前に挟むのが現実的。

補足

各社公式ブログの原文は本稿では未確認（ITmedia NEWS の報道に基づく）。Microsoft 側の告知は Bing 公式ブログで別途確認済み。