AI

robots.txtの1行でAI学習を拒否、グーグルやOpenAIなど4社が尊重へ

Susan Hill
Googleで追加する

Google、OpenAI、Anthropic、Microsoftの4社は、robots.txtに書く1つのトークン__usage_ai-trainingを、AI学習に関するウェブサイトの意思表示として読み取ることで合意した。クローラーごとに列挙する現在の方法より簡単だが、あくまで自主的な取り組みで、効力はこれから先に限られ、意味も各社で完全に同じではない。

AIの学習対象からウェブサイトを外したい運営者は、これまで企業ごとに別々のルールを書く必要があった。GPTBot、ClaudeBot、Google-Extendedといった名前を一つずつ覚え、新たな開発企業がクローラーを公開するたびにリストを更新しなければならなかったのだ。Google、OpenAI、Anthropic、Microsoftの4社は10月30日(金)、今後は代わりに同じ1行を読み取ると発表した。初期のウェブ時代から検索エンジンに立ち入ってほしくない場所を伝えてきた小さなテキストファイル、robots.txtに記す共通の「ポリシートークン」(policy token)である。一度書けば、その記述がAI開発大手4社に同じ意思を伝える。

このアイデアを考案したのは、Anthropicで標準化を担当するテクニカルリードのケビン・ケリー(Kevin Kelley)氏だ。同氏はこれを、インターネットの技術ルールを策定する団体Internet Engineering Task Force(IETF)にInternet-Draftとして提出した。GoogleはSearch Advocateを務めるジョン・ミューラー(John Mueller)氏の名義でSearch Centralブログに支持を表明し、Microsoftはプリンシパルプロダクトマネージャーのクリシュナ・マダヴァン(Krishna Madhavan)氏を通じてBingブログで同様に表明した。OpenAIは短い企業声明を掲載した。ケリー氏は同日午後、IETFのAI Preferencesワーキンググループ(通称AIPREF)のメーリングリストで草案を告知し、Anthropicはすでにこのトークンへの「対応の実装を開始している」と記した。

1行の仕組み

この仕組みの巧みな点は、新しい文法を一切つくらないことにある。サイト運営者は通常のrobots.txtのルールグループ(rule group)を書くが、User-Agentの行にはクローラーではなく用途を記す。それが__usage_ai-trainingだ。その下に「Disallow: /」と書けば、ここにあるものは何も学習に使わないでほしいという意味になり、「Allow」の行を加えれば例外を設けられる。草案自身が示す例では、企業がモデルに学んでもらえればむしろ歓迎するような素材を収めた/press-kit/フォルダーを開放している。照合は、RFC 9309が定めるパスのルールと最長一致優先(longest-match precedence)に従う。RFC 9309はロボット排除プロトコル(Robots Exclusion Protocol)で、1994年にマルタイン・コスター(Martijn Koster)氏がこの慣行を提案してから30年近くを経た2022年9月に、IETFが正式に規格化した。

先頭の二重アンダースコアは意図的なものだ。実際に使われているrobots.txtのパーサー(parser)の中にはボット名を緩く照合するものがあり、この接頭辞によって実在のクローラーと偶然一致する可能性は低くなる。1つのグループに複数のポリシートークンを列挙でき、ポリシートークンを通常のクローラー名と並べて書くこともできる。ケリー氏は、実際に稼働しているパーサーの挙動を長い時間をかけて調べ、それらの解釈が分かれる領域を避けるように仕組みを設計したと記している。そのため、このトークンを知らないソフトウェアは、認識できないボット宛てのグループと同じように、そのグループを単に読み飛ばす。

何を学習とみなすかは、新たに考案したものではなく借用したものだ。草案は、Open Futureのポール・ケラー(Paul Keller)氏とMozillaのマーティン・トムソン(Martin Thomson)氏が編集するAIPREFワーキンググループの語彙文書から定義を採用している。それによれば、AI学習とは、あるアセットを「生成AIモデルの学習済みパラメーターを変更するために」使うことを指す。分類、ランキング、スコアリングのためだけに使われるモデルは、出力の説明を生成する場合であっても対象外となる。あるページに適用される意思表示は、そのページが取得された時点で有効だったrobots.txtファイルに書かれたものである。

検索はこれまで通り

ブログやネットショップ、報道機関にとって最も役立つのは、この1行が何に手を付けないかという点だ。草案は、このトークンが「クロールの挙動に関する指示ではない」と明記している。誰が訪問してよいかではなく、コンテンツの使われ方についての意思を示すものであり、検索はそのまま機能し続ける。Googlebot、Bingbot、その他の名前を指定したクローラー宛てのルールは、現在とまったく同じ意味を保つ。ボットに一切立ち入ってほしくないサイトは、引き続きそのボット自身の名前を指定したグループでその旨を書く必要がある。

Microsoftは、この設定によってページがBingの検索結果に表示されるかどうかは変わらないとしている。Googleは、サイトが共通トークンでオプトアウト(opt out)し、Google-Extendedについて別途記載していない場合、それをGoogle-Extendedのブロックとして扱うという。Googleが2023年から提供しているGoogle-ExtendedはGoogle検索への掲載には影響しないが、対象は学習にとどまらない。Googleのクローラー文書によれば、Gemini AppsやVertex AIでページをグラウンディング(grounding)、つまりモデルが回答する際に検索インデックスのページを渡す処理に使えるかどうかも、Google-Extendedが決めている。したがってGoogleが示した方針では、共通の学習オプトアウトによって、サイトはそうしたグラウンディングを伴うGeminiの回答からも外れることになる。ただし、サイトがGoogle-Extended向けに明示的な許可グループを追加すれば話は別で、Googleはそれをより具体的なルールとして扱う。Google検索のAI OverviewsとAI Modeは別の問題で、Googlebotのルールと、同社が8月にすべてのサイトに提供を始めたSearch Consoleの設定によって管理されている。

Microsoftは学習と回答を分ける

Microsoftは他社より一歩踏み込んでいる。学習とは別に、メタタグまたはHTTPヘッダーでページごとに指定するグラウンディングの設定を新たに設け、Bing、Copilot、Microsoft 365がその場で生成する回答にページを使えるかどうかを決められるようにする。値は3つある。既定のAllow、Disallow、そして新設のDisallowExtendedだ。DisallowExtendedを選ぶと、ページはMicrosoft自身のAI機能では引き続き使われるが、Web IQのように同社が他社に販売するグラウンディングサービスからは外れる。サイトは学習を拒否しつつグラウンディングを許可し、AIの回答内に引用やリンクを残すこともできる。Microsoftはまた、学習の設定を1ページ単位で指定することも認めており、そのページ単位の設定はrobots.txtより優先される。

Microsoftは、グラウンディングを制限すればそうした機能におけるサイトの露出が減ると警告し、「どちらを選んでも、掲載、トラフィック、報酬が保証されるわけではない」としている。同社は、2023年にAI向けの制御手段として導入したNoArchiveとNoCacheのタグも廃止する。新しい設定は2027年2月1日からクロールの際に尊重し、3月1日以降は従来のタグを学習やグラウンディングのシグナルとして読み取らなくなる。グラウンディングの対象外となるためにこれらのタグに頼っているサイトは、12月15日からBing Webmaster Toolsで一時的な設定を登録できる。Microsoftはさらに、サイト上でいずれかの新しい設定を検出した時点で、残っている従来のタグはすべて無視するとしている。そのため、共通の学習用の1行だけを追加したパブリッシャーは、以前に設定したグラウンディングの制限を失うおそれがある。

ワイルドカードの落とし穴

多くのサイトがすでに置いているファイルには、落とし穴が潜んでいる。ケリー氏の草案は、おなじみのワイルドカードルール(wildcard rule)「User-agent: *」が新しいトークンに反応しないよう、意図的に設計している。また、__usage_ai-trainingのグループがないファイルは何の意思も表明していないことになり、ケリー氏が指摘したように、これはこれまでに公開されたすべてのrobots.txtファイルに当てはまる。つまり、現在すべてのボットを締め出しているサイトも、この草案の下ではAI学習について何も表明していないことになる。学習から外れたい運営者は、新しいグループを名前で追加しなければならない。各社が従来から使ってきたトークンも引き継がれない。Google-ExtendedのブロックはGoogleでは意味を保つが、OpenAIやMicrosoftに対する共通のオプトアウトになるわけではない。

このシグナルが効力を持つのは、これから先に対してだけでもある。この1行が書かれる前に各社がクロールしたものは、すでに学習データセットに含まれている。また、草案には各社にこれを守らせる仕組みは何もない。草案は、個別のライセンス契約がこのシグナルに優先する場合があるとも付け加えている。そのため、コンテンツ契約を結んでいるパブリッシャーは、全面的な拒否を掲げつつ、特定の開発企業との関係はその契約に委ねることができる。OpenAI自身も、自社の参加を「自主的な取り組み」と呼んでいる。これは4社が尊重すると約束した要請であって、鍵ではない。

名を連ねていない企業

最も目立つ不在はMetaだ。同社の広報責任者アンディ・ストーン(Andy Stone)氏はThe Vergeに対し、複数の事業者に一度に届く共通のシグナルは「重要な一歩」だと語ったが、Metaがこれを尊重するかどうかは明らかにしなかった。タイミングも微妙だ。Metaの改定版ビジネス規約は、Facebook、Instagram、WhatsAppのビジネスアカウントに紐づくウェブサイトに同社がクローラーを送り、収集した情報を自社製品の学習に使うことを認める内容で、当初は発表当日の10月30日に発効する予定だった。しかし、パブリッシャーがEUと英国の競争当局に苦情を申し立てたことを受け、Metaは10月23日、Reutersに対し発効日を11月20日に延期したと明らかにした。

約束の外にいる大手はMetaだけではない。Amazonも4社には含まれず、既存の多くのオプトアウトリストに載っているApplebot-Extendedトークンを持つAppleも加わっていない。一方、草案の長い謝辞の表にはMetaとAmazonの社員の名前も載っており、Google、Microsoft、OpenAIの関係者や、News Corp、Financial Times、BBCといったパブリッシャー、Electronic Frontier Foundation、Creative Commons、Internet Archive、Common Crawlなどの団体の関係者と並んでいる。IETFの参加者は個人として貢献するため、所属は識別のためだけに記載していると草案は注記している。

正式な位置づけはまだない

導入の進み方にはばらつきがある。Anthropicはトークンの実装を始めているが、ケリー氏は、すべてのサービスを対象にするには時間がかかり、標準の進展に応じて同社のこうしたシグナルの解釈が変わる可能性もあると記している。既存のClaudeBot、Claude-User、Claude-SearchBotによる制御はそのまま残る。日程が確定しているのはMicrosoftだけだ。Googleのブログ記事は2027年を目標に掲げ、クローラー文書には2027年初めとある。一方、OpenAIが約束したのは「今後数カ月」という時期だけで、新しいシグナルがGPTBotなど既存のrobots.txtによる制御に取って代わるものではないとしている。OpenAIの投稿はまた、このシグナルが「基盤的な生成AI学習」を対象とすると説明しているが、この言葉が語彙文書の草案にあるより広い定義を狭めるものなのかどうか、同社は明らかにしていない。

トークンにはまだ正式な位置づけもない。IETFのdatatrackerはケリー氏の文書をワーキンググループ文書ではなく個人提出として掲載しており、新しい版に置き換えられなければ2027年5月3日に失効する。ケリー氏はこの文書を、コンテンツに意思表示を付与する方法を扱うワーキンググループの別の草案へのインプットとして提供している。その草案の共著者には、RFC 9309の著者の一人であるGoogleのゲイリー・イリェシュ(Gary Illyes)氏も名を連ねる。Googleは、この計画が2025年7月に公表された汎用AIモデルに関するEUの実務規範(code of practice)に合致すると指摘している。同規範はすでに、パブリッシャーが機械可読な意思表示を示す主な手段としてrobots.txtを位置づけ、署名企業にはそれに従うクローラーを使うよう求めている。

今回の動きが注目に値するのは、解決策の小ささにある。オープンウェブの所有権をめぐって何年も訴訟やライセンス交渉が続いた末に、初めて示された共通の答えは、誰でも1分で編集できるプレーンテキストファイルに書く数文字にすぎない。大半のサイト運営者にとって、実際にやるべきことは少ない。__usage_ai-trainingのグループを追加し、既存のクローラー向けルールは残したうえで、Googleによる読み替えがGeminiでの引用にどう影響するかを確認してから頼りにすることだ。この1行がどれほどの保護になるかは、次にどの企業が加わるかにかかっている。そして、自社プラットフォーム上に最も多くのビジネスページを抱える企業は、まだ賛同していない。

タグ: , , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。