robots.txtの1行でAI学習を拒否、グーグルやOpenAIなど4社が尊重へ

これまで、ウェブサイトをAI学習の対象から外したい場合、運営者は企業ごとに別々のルールを書く必要があり、GPTBot、ClaudeBot、Google-Extendedといった名前を一つずつ覚えなければならなかった。Google、OpenAI、Anthropic、Microsoftは今後、代わりに共通の1行を読み取ると発表した。初期のウェブ時代から、検索エンジンにアクセスしてほしくない場所を伝えてきた小さなテキストファイル、robots.txtに記す共通の「ポリシートークン」だ。一度書けば、AI開発大手4社に同じ意思を伝えられる。

このアイデアを提案したのは、Anthropicで標準化を担当するテクニカルリードのケビン・ケリー（Kevin Kelley）だ。インターネットの技術ルールを策定する団体、Internet Engineering Task Forceに草案を提出した。この仕組みの巧みなところは、新しい文法を一切導入しないことにある。サイト運営者は通常のルールグループを記述するが、User-Agentの行ではクローラーではなく用途を指定する。つまり「__usage_ai-training」だ。その下に「Disallow: /」と書けば、サイト内のあらゆるコンテンツを学習に使わないよう求められる。「Allow」の行を加えれば、企業がモデルに学習させたいプレスキットなど、例外を設けることもできる。

ブログや店舗、報道機関にとって最も重要なのは、この行が何を制限しないかだ。コンテンツの利用方法について希望を示すもので、誰がサイトを訪問できるかを制限するものではないため、検索には影響しない。Googleによれば、サイトが共通トークンでオプトアウトし、Google-Extendedについて別途記載していない場合は、Google-Extendedをブロックする意思表示として扱う。これはGeminiの学習を対象としつつ、ページをGoogle検索に掲載できる状態にしておく。MicrosoftもBingについて同様の方針を示しており、この設定によってページが検索結果に表示されるかどうかは変わらない。

Microsoftは他社より一歩踏み込んでいる。学習に加え、ページごとにメタタグまたはHTTPヘッダーで指定する、グラウンディングに関する別個の設定を導入する。これにより、Bing、Copilot、Microsoft 365がその場で生成する回答に、ページの情報を利用できるかどうかを決められる。サイトは学習を拒否しながらグラウンディングを許可し、AIの回答内に引用やリンクを残すことも可能だ。一方、グラウンディングを拒否すれば、こうした機能におけるサイトの露出が「大幅に減少する」とMicrosoftは警告している。また、どちらを選んでも掲載やアクセス、報酬が保証されるわけではない。

ただし、多くのサイトがすでに使っているファイルには、見落としがちな注意点がある。ケリーの草案では、よく使われるワイルドカードルール「User-agent: *」は、新しいトークンを認識しない仕様になっている。つまり、現在すべてのボットを拒否するrobots.txtを設置していても、AI学習についての意思表示にはならない。学習を拒否したい運営者は、新しいグループを名前を指定して追加する必要がある。このシグナルが効力を持つのは、あくまで今後のクロールに対してだ。行が追加される前に各社が収集したデータは、すでに学習用データセットに含まれている。また、草案には各社に従うことを義務づける仕組みもない。4社が尊重すると約束した要請であって、強制力のある仕組みではない。

最も目立つ不参加企業はMetaだ。同社の広報責任者アンディ・ストーン（Andy Stone）はThe Vergeに対し、複数の事業者に一度に届く共通シグナルは「重要な一歩」だと語ったものの、Metaがこれを尊重するかどうかは明らかにしなかった。発表のタイミングも微妙だ。4社が支持を表明したのと同じ日、Metaの事業利用規約が改定され、Facebook、Instagram、WhatsAppのビジネスアカウントに関連するウェブサイトにクローラーを送ること、そして収集した情報を自社製品の学習に使うことが認められた。

導入時期は各社で異なる。Anthropicはすでにトークンの実装を始めているが、すべてのサービスを対象にするには時間がかかるとケリーは記している。Microsoftは2027年2月1日以降のクロールでこの設定を尊重し、3月1日以降は従来のNoArchiveおよびNoCacheタグを、学習やグラウンディングのシグナルとして扱うのをやめる。Googleは2027年の対応を目指し、進捗を公表すると約束した。一方、OpenAIが確約したのは今後数カ月以内の対応にとどまる。この提案は、正式な標準となる前にIETFのAI Preferencesワーキンググループでの審議を経る必要がある。Googleはまた、この仕組みが汎用AIモデルに関するEUの実務規範にも合致すると説明している。同規範ではすでに、機械可読な形で希望を示す主要な手段としてrobots.txtが位置づけられている。

今回の動きが注目に値するのは、解決策が驚くほど小さいからだ。オープンウェブの所有権をめぐり、何年にもわたって訴訟やライセンス交渉が続いてきた。その末に初めて示された共通の答えは、誰でも1分で編集できるプレーンテキストファイルに書く、ほんの数文字にすぎない。それがどれほどの保護につながるかは、今後どの企業が参加するかにかかっている。そして、自社プラットフォーム上に最も多くのビジネスページを抱える企業は、まだ賛同を表明していない。

タグ: 人工知能, OpenAI, Google, Anthropic, meta, microsoft