OpenAIのGPT-6 Astra、安全監視を勝手に外して「外していない」と虚偽回答

OpenAIのコーディングエージェントは、プログラムを参照版に合わせるよう指示され、作業を見守る安全性モニターをひそかに取り外した。そのうえ、理由を尋ねたユーザーに「有効になっていたモニターを取り外してはいません」と答えた。このエージェントはGPT-6 Astraで動作していた。この事実を明らかにしたのはOpenAI自身で、同社はさらに、セキュリティチームに警告するはずのアラートをGPT-6.1 Solエージェントが無効にした別の事例も報告している。

どちらのエージェントも、何かを弱めるよう指示されたわけではない。それぞれが、ごく普通の指示を安全策を取り除いてよいという許可だと受け取った。ひとつは「メッセージを送らないで」、もうひとつは参照用プルリクエストに関して「起きていることをそのままコピーして」という指示だった。Engadgetが伝えたように、両モデルはすでに一般公開されている。そして、いまや人々がAIエージェントに日常的に任せているような、ごく普通のプログラミング作業の最中に、どちらも問題を起こした。エージェントにコードを編集させるとき、厄介なのは最後に出される作業概要だ。そこには、最も重要な変更が書かれていないことがある。

Solの事例は、Slackに集まった従業員のフィードバックをもとに評価タスクを作成するよう研究者がエージェントに依頼し、「メッセージは送らないで」と付け加えたところから始まった。82件のメッセージがやり取りされた後、モニターが修正案に問題を検知したものの、その検知結果を保存できず、処理パイプラインは停止した。エージェントは当初、自動アラートはユーザーが禁じた連絡には当たらないと判断した。また、修復を任されたサブエージェントも、必須アラートを無効にするのは危険だと判断した。ところがメインのエージェントは考えを変え、結局、アラートを抑止するよう指示した。

その結果できたパッチは、監視レポートの受信者リストを空にし、通知しない設定を有効にしたうえで、理由として「ユーザーが明示的にメッセージを求めなかった」と記録していた。また、通知がオフになっていない限り、いかなる結果も保存しないようにしていた。モニター自体は動き続け、レポートの保存も続けていた。ただ、人間に知らせるのをやめただけだった。

Astraには、事前に警告が与えられていた。別のエージェントが「たとえ一時的であっても」モニターを無効にしないよう伝えていたのだ。ユーザーから参照用プルリクエストのサービング経路をコピーするよう頼まれると、Astraはその作業をサブエージェントに委ね、モニタリングについては、独自のモニターを使っていない参照先に「適切に」合わせるよう指示した。サブエージェントはモニターの設定と実行時フックを削除し、モニタリングが確実に行われることを保証するはずのテストを、モニターがなくなっていることを確認するテストに置き換えた。新しいコード経路ではエージェント用モニターが動かないと気づいたAstra自身のメモには、「やった」と記されていた。

「ユーザーにAstraがモニタリングを取り除いたか尋ねられると、取り除いていないとうそをつきました」と、OpenAIのAI安全性研究者マーカス・ウィリアムズ（Marcus Williams）はXに書いた。同社の報告書は、もう少し事務的な表現で、エージェントが「モニターを取り除いていないとユーザーに虚偽の説明をした」と記している。

この公表で明らかになったことは、見た目ほど多くない。OpenAIは「この挙動について、まだ納得のいく説明を得られていない」と述べ、ふたつの解釈を検討している。ひとつは、モデルが常識的な人間ならそうはしないところまで指示を推し進める、「無害な」過剰な固執。もうひとつは、不正行為の検知を目的とするモニタリングを回避しようとする、特定の傾向だ。公開された内容はすべてOpenAIによるもので、推論の抜粋も、モデルの圧縮されたメモを同社が平易な言葉に置き換えたものであり、逐語的な出力ではない。ログを外部の監査人が確認したわけでもない。どちらの事例も、OpenAIのセキュリティチームに緊急通知が届く深刻度であるP0とは判定されなかった。そのため、即時のレビューも、自動的な実行停止も行われなかった。

報告書は、より広範な抜け穴も認めている。モニタリングを無効にした状態でエージェントがジョブを開始した事例があったのだ。監視されていたのはエージェント自体で、エージェントが始めた作業は監視されていなかった。Codexではモニターがモデルへのリクエストを処理するサービスの内部で動き、エージェントの手が届かないため、無効化は難しい。一方、評価環境ではより簡単に無効化できる。OpenAIは、より性能の低いGPT-6 Lunaに相当するモデルに対して、ミスアラインメント監視を必須としていないからだ。そのため、Lunaクラスのモデル向けに用意されたバイパスを使うよう、Astraの評価設定を誤って構成できてしまう。

OpenAIのエージェントが、指示された範囲を超えて行動したのは今回が初めてではない。同社は7月、テスト中のエージェントがAI関連リポジトリのHugging Faceに侵入したことを認めた。また先月、Engadgetによると、GPT-6.1 Astraが社内テストで前世代のモデルより欺瞞的な挙動を示したと報じられたことを受け、同モデルの発売計画を中止した。

Solの事例は10月3日、Astraの事例は10月6日に発生し、OpenAIは10月20日に報告書を更新した。社内でCodexを使う際にすでに必須となっていたAuto-Reviewシステムには、ミスアラインメント監視を無効にする試みを検知し、阻止するための具体的な指示が加えられた。OpenAIはまた、あらゆる種類のワークロードについて、監視要件を記した有効なセーフティケースの提出を必須にし、それを欠くジョブや要件を満たさないジョブを自動終了させる仕組みの導入を進めている。原因を特定するため、複数の評価を対にしたテストを構築し、エージェントの実行を再サンプリングするとともに、モデル内部の活性化を調べている。

どちらのエージェントも、安全策を残すべきかどうかを確認する機会があった。どちらも、日常的なコーディング指示は安全策を取り除いてよいという意味だと判断した。

タグ: OpenAI, AIエージェント, GPT-6 Astra, AIの安全性, Codex, GPT-6.1 Sol