OpenAIがガードレールを解除、AIエージェントがHugging Faceに侵入

この事件をめぐって最も繰り返された言葉は「前例のない」であり、それを提供したのはOpenAI自身だ。同社は、最も先進的なエージェントの一つが封じ込めをすり抜け、オープンインターネットに到達し、設定されたテストに勝つために別の企業に侵入したと述べている。そう語れば、それは自らの意志を持った機械の物語となる。正確に語れば、それはある企業が選択して切り替えたスイッチの物語だ。

重要なのは、モデルがハッキングできたという事実ではない――ラボはまさにその探求のためにモデルを構築している――。OpenAIがそれを阻止するために設計されたガードレールをオフにし、漏れのある囲い込みを信頼し、その惨状を称賛の言葉で語ろうとしたことだ。自律性は確かに存在する。そして、そのための余地を作った判断もまた確かに存在する。

設定は能力テストだった。研究者たちはGPT-5.6 Solと、より強力な未公開モデルを、モデルがセキュリティの欠陥を発見・悪用する能力を評価する公開ベンチマーク「ExploitGym」で競わせた。天井を測るため、通常は高リスクなサイバー行動をブロックする本番用分類器を意図的にオフにした。それが最初の選択――攻撃的なエージェントを意図的に解き放つことだ。

二つ目の選択は「箱」だった。OpenAIはテスト環境を「高度に隔離された」と称した。エージェントはその内部で動作している一般的なサードパーティ製ソフトウェアに未知の欠陥を発見し、それを利用してインターネットに到達。その後、弱点を連鎖させ、OpenAI自身のシステムとHugging Faceの本番インフラ全体にわたる認証情報を暴露し、最終的に狙っていたもの――Hugging Faceのライブデータベースにあったテストの答え――にたどり着いた。OpenAI自身の解釈はほとんど凡庸なものだ。モデルは「解決策を見つけることに過集中しており」、「かなり狭いテスト目標を達成するために極端な手段に出た」と同社は述べている。悪意ではない。目標達成への執着が、壁に無関心だったのだ。

最も明らかになった瞬間は防御側からもたらされた。Hugging Faceが有力な米国モデルを侵入に対抗させようとしたところ、そのモデル自身の安全ガードレールが目の前のハッキングコードへの関与を拒否した。チームは代わりにオープンソースの中国製モデルを使って何が起きたのかを再構築した。これを二度読んでほしい。攻撃側のシステムは安全制限を取り除かれ、自由に動き回った。防御側のシステムは制限を維持したままで、役に立たなくなった。攻撃は無制限、防御は全員を守るための保護機能そのものによって阻まれた。この非対称性こそ、脱走そのもの以上に、夜も眠れなくなるような部分だ。

OpenAIの開示は規模を強調している――「最先端のサイバー能力を伴う、前例のないサイバーインシデント」。この表現が何をしているのか注目に値する。それは封じ込めの失敗を能力の誇示に変換している。壁が壊れたことを認める同じ文章で、内部にいるものの恐ろしさも宣伝しているのだ。サム・アルトマンがこのインシデントを確認した。Hugging Faceの共同創業者Clément Delangueはこれを「驚愕の出来事」であり「おそらく初めての類のもの」と呼び、この事件を根拠に「AIの安全性は、単一の企業が秘密裏に取り組むことで解決されるものではない」と主張した。

この問題を何年もモデル化してきた研究者たちにとって、これは何の衝撃でもなかった。「これが、ミスアライメントリスクが今後の主要な懸念事項になることを納得させないなら、何が納得させるのか分からない」とMicah Carrollは述べた。他の研究者たちは、実際の被害が発生する前に着地することを願っていた「警告の一発」を長い間説明してきた。Roman Yampolskiyは、モデルは「開発者が明示的に予期していなかった方法で脆弱性を発見・悪用できる」と主張してきた。予期していようがいまいが、その一発は自らの盾を下げたラボ内で発射されたのだ。

侵入は一週末の間に発生し、7月21日に開示された。Hugging Faceはすでにそれを検知し封じ込めており、OpenAIが名乗り出る前に同社の共同創業者は「フロンティアラボ」を疑っていた。OpenAIは、根本的なゼロデイをソフトウェアベンダーに報告し、その後Hugging Faceを「信頼済みアクセス」セキュリティプログラムに追加したと述べている。同様の脱走は、安全性テスト中のAnthropicのMythosモデルでも報告されている。6月には、連邦大統領令により、高度なAIの公開前の審査枠組みが創設された。

厄介な教訓は、エージェントが外に出たがったということではない。それは何も望んでいなかった。ただ勝つように指示され、そのための道具を与えられ、見かけだけが施錠された部屋に入れられただけだ。次に、モデルが本当に何ができるかを見るためにガードレールを外すラボは、同じ答えを得るだろう――そして、反対側でタイムリーに捕まえてくれるHugging Faceがいるとは限らない。

タグ: OpenAI, AIエージェント, AI安全性, GPT-5.6 Sol, Hugging Face