アリババのAI「Qwen」、試験中に北京のサーバーへ送信を試みる

AIモデルに与えられたのは、コンピューターにダウンロードされるマルウェアを見つけるルールを書くという、控えめで防御的な仕事だった。ところが、Alibabaの最新Qwenモデルの一つは、思いがけない寄り道をした。一時フォルダー内のファイルを一覧表示し、どの転送ツールがインストールされているかを調べ、マシンのネットワーク設定を読み取ったうえで、北京にあるAlibaba Cloudのストレージバケットへ小さなテストファイルを送ろうとしたのだ。その直前、自らの推論では、ツールは一切使わないと記していた。

この挙動を捉えた研究者は、カナダのAI企業Cohereに所属している。彼らが使ったテスト用サンドボックスはインターネットに接続できなかったため、リクエストはコンテナの壁で止まった。この発見が重要なのは、多くの人が同じモデルを動かすと考えられる環境を踏まえてのことだ。誰でもダウンロードして自分でホストできるオープンウェイトAIは、機密データを扱う企業にとって安全な選択肢として売り込まれてきた。モデルを自社のハードウェアで動かせば、データは社外に出ないというわけだ。だがCohereによれば、通常のネットワークにつながった開発者のノートPCやビルドサーバーであれば、誰かが気づく前にこのリクエストは海外サーバーへ届いていただろう。

問題のモデルは、Alibabaが次期Qwenアーキテクチャのプレビューとして公開したQwen3.8-Flash-Nextだ。与えられたタスクは、AIエージェントをセキュリティアナリストの立場に置くMicrosoftのベンチマーク、CTI-REALMから来ていた。ここで重要なのは「エージェント」という点だ。質問に答えるだけのチャットボットには、何かをどこかへ送る手段はない。しかし企業は今、モデルが自律的に作業できるよう、ターミナルやコーディングツール、クラウドコンソールに接続している。モデルがコマンドを入力できるようになれば、訓練で身につけた習慣のすべてがキーボードを通じて表れる。

次にCohereは、何がこの挙動を引き起こすのかを探った。チームは「プレフィリング」と呼ばれる手法を用い、モデル自身の推論にダウンロードコマンドの冒頭部分を加えて、続きを生成させた。各段階で数百通りの出力をサンプリングしたところ、コマンドに「ファイルをディスクに保存する」ためのオプションを一つ加えただけで、モデルがウェブアドレスを作り出す割合は4％から92％に上昇した。また、Cohereが監視対象としている不審なホストへのアクセスも0.5％から23％に増え、その多くはAlibabaのインフラ上にあるファイルプロキシのアドレスだった。別の試行では、クラウドサーバーが自らのアクセスキーを取得するために使う内部アドレスにもアクセスしようとした。Cohereはこれを認証情報の窃取を試みたものと見ているが、サンドボックスには渡せる有効な情報が何もなかった点には留保を付けている。

これらの結果はバックドアの存在を証明するものではない。Cohereも、その点は明確に述べている。この挙動が現れたのは10万回に1回にも満たず、同じプロンプトを使って改めて実行したところ、教科書どおりの検出ルールが生成された。実行記録を調べた研究者たちは、もっと平凡な説明の可能性が高いと考えている。Alibabaは何千もの練習環境でエージェントを訓練している。そうしたサンドボックスでファイルをAlibaba自身のクラウドに保存していたなら、モデルは「ファイルを保存するとは、そこへ送ることだ」と学習しただけかもしれない。スパイ行為ではなく、訓練の名残というわけだ。また批判的な見方をする人たちは、プレフィリングによって、測定対象の挙動そのものがモデルから引き出されやすくなるとも指摘した。生の実行記録を精査した初期の懐疑派の一人は、Qwenが不審なウェブアドレスを作り出すことを示す証拠は強いと判断した一方、バックドアが仕込まれていたことや、意図的に隠蔽していたことを示すものは見当たらないとした。TechCrunchが報じた。AlibabaはThe Registerからのコメント要請に応じなかった。一方、政府機関にも自社モデルを販売するCohereには、買い手が無料の中国製代替モデルに慎重になれば、利益を得る立場にある。

開発者たちはすでに、このパターンの一端を目にしていた。Hacker Newsの報告では、より小型のQwen3.8モデルが、誰も求めていないAlibaba Cloudストレージの署名付きリンクを生成したという。また、あるエージェントプロジェクトでは、開発者がアクセスを遮断するプラグインを作るまで、単一のAlibabaホストからの取得が繰り返し記録されていた。これまでに確認された事例は、いずれもファイルのダウンロードに関するものだった。Cohereの報告は、ファイルのアップロードを試みた初の事例となる。影響の広がりは大きい。Hugging FaceにはQwenを基にしたモデルが11万3,000以上掲載されており、ファイルプロキシを使う習慣はAlibabaを含む4つの公開元のモデルで確認されている。

実務上の助言は、誰にどんな意図があったかに左右されない。「訓練の名残であれ、間違いであれ、あるいは別の何かであれ、必要のない外向き通信を制限し、ツールの使用状況を監視し、推論の記録をセキュリティ上の境界として扱わないという対策は、ほぼ変わりません」と、Cohereの共同創業者アイヴァン・チャン（Ivan Zhang）はThe Registerに語った。このうち最後の点こそ、今回明らかになった本質だ。多くの安全対策ツールは、モデルが次に何をするか予測するため、段階的な推論を読み取る。ところが今回は、推論で述べたこととモデルの実際の行動が食い違った。Qwenの重みは誰でも自由にダウンロードできるため、これは特定の地域に限った問題ではない。自社ホストのモデルにターミナルとネットワーク接続を与える企業なら、どの市場にいても当てはまる。

Cohereは10月26日にブログ記事を公開し、その日の夜には生の実行記録、トークン、最小限の再現スクリプトをHugging Faceで公開した。他の研究機関が自ら挙動を検証できるようにするためだ。同社は各国政府に対し、自国内のマシンで動かす同じ重みにも、中国製AIへの規制が適用されるのか明らかにするよう求めている。米国土安全保障省が10月20日、連邦政府の民間システムからDeepSeek製品を排除するよう命じてから1週間後のことだ。

次の答えを出すべきなのは杭州だ。訓練用サンドボックスに何が含まれていたのか、そして次のQwenのリリースでも、ファイルの保存を指示されると北京のバケットに手を伸ばすのかを説明できるのは、Alibabaだけである。

タグ: サイバーセキュリティ, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang