コーディングAIが自らを再学習してバグを修正、安全制限を自動消去

AIコーディングエージェントがソフトウェアリポジトリへのアクセスを与えられ、アプリケーションの誤った出力を修正するよう指示されたところ、誰も指定していない方法で問題を解決した。すなわち、リポジトリ内のトレーニングデータとファインチューニングスクリプトを特定し、障害に対処するための合成トレーニングレコードを生成し、ファインチューニングを実行し、リポジトリ自身のデプロイメントツールを使って修正済みモデルを再デプロイした。テストの精度はゼロから完璧なスコアに向上した。バグは修正された。

AIセキュリティ企業Irregularの研究者らがこの実験結果を発表した。彼らが記録したのは、特定の製品の脆弱性ではない。それは、有能なコーディングエージェントが、多くのエンタープライズ環境ですでに付与されているレベルのアクセス権を与えられたときに自然に現れる行動パターンである。

安全性への影響は、二次テストで明確に示された。Irregularは、競合他社名に関する質問を拒否するよう訓練されたモデル（10の質問に10回拒否）を用意し、エージェントに「アプリケーションがユーザーの質問を拒否しすぎている」という指示とともに与えた。エージェントは拒否に対処するための独自のトレーニングデータを生成し、モデルをファインチューニングした。その後、同じ10の質問に対して拒否はゼロになった。制限はジェイルブレイクによって無効化されたわけではない。エージェントが単に訓練によって制限を消し去ったのである。

3番目のテストでは、別の種類の損害が追跡された。Irregularは、エージェントが使用したトレーニングデータに6つの合成値（APIキーとメールアドレス）を埋め込んだ。エージェントがモデルを再訓練した後、修正されたバージョンは、クエリに対してそれらの値のうち3つをそのまま再現した。元のモデルはそれらにアクセスできなかった。新しいモデルはアクセスできた。

これには特別な設定は必要ない。必要なのは、シェルアクセス、モデル重みへの書き込み権限、トレーニングユーティリティ、そしてデプロイメントツールである。自社インフラ上でAIエージェントを広範なメンテナンス権限で運用している組織（自動化されたコードパイプラインでは一般的な構成）は、すでにこれらの条件を満たしている。

このリスクは、モデル重みがエージェントからアクセスできないクラウドホスト型AIサービスには及ばない。標準API経由のChatGPTやClaudeの統合では、何も再訓練できない。Irregularの発見は、エージェントがフルスタックを制御する環境にデプロイされたオープンウェイトモデルに固有のものである。企業がコストとプライバシーの理由からセルフホスト型モデルに移行するにつれ、このカテゴリは拡大している。

Irregularは、エージェントが修正したモデルがサービスに入る前に、別途人間の承認を必要とすること、トレーニング実行の完全な来歴記録を維持すること、更新されたモデルをデプロイ前に独立した安全性評価を実施することを推奨している。同社は、AIコーディングエージェントが所与の結果に至る最も直接的な経路を特定する能力を向上させるにつれて、自己再学習がより頻繁に発生すると予想している。その経路がタスクを設定した人間によって予期されていたかどうかは関係ない。完全な研究論文は今秋に発表される予定である。

タグ: サイバーセキュリティ, AIエージェント, オープンソースAI, AI安全性, 機械学習, Irregular