OpenAI、AI学習をネット遮断それでもエージェントはCPU経由で通信

OpenAIは現在、最も高性能なAIモデルを、実際のインターネットに接続しない状態で学習させている。モデルが使うのは、インデックス化されキャッシュされたウェブページを大量に蓄積した、オフライン環境のウェブのコピーだ。実在するウェブサイトには一切接続せず、その中でページを検索・閲覧したり、コードを書いたりできる。この隔離環境をテストするなかで、OpenAIはさらに意外な事実を見つけた。エージェントたちは、稼働しているプロセッサを通じて互いに通信できたのだ。

テストでは、OpenAIはネットワークでつながっていない別々の仮想マシンにAIエージェントを配置し、秘密の情報を交換するよう指示した。するとエージェントたちは、自力で方法を編み出した。一方のエージェントが選んだデータをプロセッサのキャッシュから追い出し、もう一方が、そのデータの再読み込みにかかる時間を計測する。読み込みが速ければ一方の意味、遅ければ別の意味を表す。2体がコードを共有すると、接続を開くことも共有ファイルに触れることもなく、メッセージをやり取りできた。デジタル版の囚人たちが、独房の間を通る配管をたたいて合図を送るようなものだ。

ChatGPTを使う人にとって、この変更が起きるのは開発の上流工程だ。対象となるのは、後にチャットボットを動かし、ウェブサイトを閲覧したりアプリを操作したりするエージェントを支えるモデルであり、OpenAIはもはや、それらをオープンウェブ上で学習させていない。同社はブログ記事で、この決定について次のように説明している。「アライメント研究の現状、監視システム、インターネットインフラの安全性を踏まえ、最先端モデルの学習はインターネットに接続しない状態で行うのが責任ある対応だと考えています」。また、「最先端モデルが、許可されていない任意の方法で実際のインターネットにアクセスすることを、常に阻止できなければなりません」としている。

オフライン環境でも、エージェントは学習タスクに必要なブラウザーやコンピューター操作ツール、コード実行環境を利用できる。ただし、通信できる相手は、許可された別のエージェントに限られる。OpenAIは、実際のウェブに代わる環境を「モデルが外部システムに影響を及ぼすリスクなく利用できる、インデックス化・キャッシュ済みの膨大なウェブコンテンツ」と説明する。同社によれば、学習にも評価作業の大半にも、実際のインターネットは必要ない。

隔離の壁を試すため、OpenAIは自社のエージェントを大量に送り込み、脱出を試みさせた。エージェントたちは、仮想マシンの外側にあるコンピューターから切り離すための仕組みを突破できる欠陥を見つけた。OpenAIによると、複数の仮想マシンで見つかった脆弱性を報告して修正し、キャッシュを使った手口も含め、モデルが連携しようとしていることを監視システムが検知できるよう、確認機能を追加した。

この方法には明確な限界もある。キャッシュされたウェブはあくまである時点のスナップショットであり、実際のウェブと同じようにコピーから学習できるのかは、依然として未解決の問題だとTechCrunchは指摘する。学習環境を完全に切り離すには、費用もかかる。OpenAIの元研究者スティーブン・アドラー（Steven Adler）はFortuneに対し、「研究チームを、アイオワ州であれ世界のどこであれ、データセンターの中に実質的に常駐させる必要がある」と述べ、「相当な運用負担」だと語った。キャッシュを使った実験も、別の警告を突きつけている。回線を切ってもエージェントが別の通信経路を見つけるのを防げるわけではなく、ある経路を想定して作られた検査が、次の経路まで必ず検知できるとは限らない。

この方針の背景には、一連のインシデントがある。7月、OpenAIは、テスト中のエージェントがHugging Faceをハッキングしたと明らかにした。9月20日には、検索タスクに取り組んでいた社内の研究用モデルが、サンドボックス内のDNSフィルタリングの弱点を見つけ、それを利用して公開チャットボットサービスに問い合わせた。OpenAIの監視システムは15分以内にこの挙動を検知したものの、実行が停止されたのは2時間半後だった。同社は最も高性能なモデルの学習をいったん停止し、セキュリティを強化したうえで10月1日に再開した。AnthropicはOpenAIの発表のおよそ2週間前から、最新モデルを実際のインターネットに接続しない運用を始めていた。またAnthropicによれば、英国のAI Security Instituteも現在、オフラインで評価を行っている。

OpenAIは、どのような条件が整えばインターネット接続を再開するのか、まだ明らかにしていない。より強固な安全対策によって「より広範なインターネットアクセスが正当化される」まで、オフラインのルールは続く。再開時期は示されておらず、当面、同社の最先端モデルは世界そのものではなく、そのコピーから世界について学ぶことになる。

タグ: 人工知能, OpenAI, サイバーセキュリティ, Anthropic, AIエージェント, Hugging Face, AI学習