サイバーセキュリティ

OpenRouterがAI事業者3社を除外、おとりプロンプトで数カ月の盗用が発覚

Adrian Kessler
Googleで追加する

多くのAIアプリが、最も安い、あるいは最も速いモデル提供元へプロンプトを振り分けるために使っているサービス「OpenRouter」が、プラットフォームから3つの提供元を排除し、100を超えるエンドポイントから「Zero Data Retention(データ非保持)」のラベルを外した。きっかけとなったのは、偽の認証情報をプロンプトに仕込み、誰がそれを使おうとするかを観察した実験だ。漏えいしたプロンプトの中には、保存しないよう指定されていたものも含まれていた。

他社のモデルを土台にしたチャットボットやコーディング支援、文章作成ツールを使っていれば、入力した文章は答えが返るまでに複数の企業を経由する可能性があり、そのどこでも全文を読み取れる。OpenRouterは、自社システムへの侵害はなかったと説明している。弱点があったのはその先、実際にモデルを動かしている企業の側だった。

調査を行ったのはセキュリティ企業のDragosで、同社の最高研究責任者HD・ムーア(HD Moore)氏が指揮を執った。研究チームは5カ月かけて200万件近いプロンプトを送信し、そのそれぞれにウェブリンク、サーバーのパスワード、あるいは他のどこにも存在しないAmazon Web Servicesのキーを添えた。仕込んだ秘密情報は、それを載せたプロンプトからしか知り得ない。したがって、一つでも使われれば、誰かがそのプロンプトを読んだことの証明になる。最初のトークンは数日のうちに使われ始めた。

最も深刻だったのは、単純な窃盗だった。攻撃者は3つの推論プロバイダーに侵入しており、研究者から知らされるまで、3社とも気づいていなかった。最大のケースでは、あるプロバイダーに短い時間帯に送られたすべてのリクエストが複製されていた。モデルが動く前にプロバイダー側が拒否したリクエストまで含まれており、盗み手が奥深くではなく玄関口に陣取っていたことがうかがえる。盗まれたAWSキーは、ときには数時間以内に試され、その後、数万回のAPI呼び出しを通じてストレージやシークレット保管庫の検索に使われた。盗まれたリクエストの一部には、データ非保持のフラグが付いていた。

侵入を必要としない漏えいもあった。ある再販マーケットプレイスでは、出品者が人気モデルを最安値で掲載し、リクエストのログ記録をオンにして、流れてきたものを保存していた。フランスの家庭用回線を使う人物は、2つのプロンプトからパスワードを抜き取り、SSHでrootとしてのログインを試みた。試行は一回ずつ手入力だった。これとは別に、中国のあるAIラボは、自社モデルに送られたプロンプトの半数超から秘密のリンクを取得していた。データ収集なしと指定されたものの約3分の2も含まれる。同ラボのモデルを再販する米国のホストも、同じスクレイパーに情報を流していた。あるリンクは、たった1回のリクエストから24日後に、北京と上海の6台の端末から開かれ、Feishu(飛書)の業務チャットに現れた。

3つのホストが通知を公表している。Phalaは、攻撃者が同社の推論サーバーの一つを掌握し、処理中のリクエストを見られる状態だったと説明した。Together AIは、AIコーディングエージェントが認証情報を公開GitHubリポジトリにコミットし、それによって侵入者が保存されたプロンプトのサンプルをダウンロードし、中にあったパスワードを試せる状態になったと述べた。そのうち5件が研究者のおとりだった。Novitaは、ルーティングの誤りにより、一部のMiniMaxへのリクエストがMiniMax自身のサービスへ転送されたと説明した。

この事後対応には明確な限界がある。OpenRouterは排除した3社の名前を明らかにしておらず、Dragosも侵害を確認した3社の名前を公表していない。両者が同じ企業かどうかも示されていない。研究者によれば、侵害された1社は、いまだにインシデントを公表していない。また、ホストを外しても、すでに複製されたプロンプトを取り戻すことはできない。仕込んだキーやリンクは、最初の窃取から数週間たっても使われ続けていた。さらに、こうしたゲートウェイの上に作られたアプリを使う人は、たいてい自分の文章がどのホストで処理されたかを確かめる手段を持たない。

ムーア氏の助言は、一つの限界から出発する。プライバシーのフラグが拘束するのは最初の中継先だけであり、AIエージェントは読み取れるものなら認証情報を含めて何でも送ってしまう。第三者がプロンプトを一切読まない構成は、セルフホスティングだけだ。大手プロバイダー1社に直接つなぐ場合は、確認すべき契約とプライバシーポリシーが1つで済む。ルーターの利用者は、最安値のプールをそのまま受け入れるのではなく、上流のホストを自分で選ぶべきだという。

Dragosは調査結果を11月19日に公表した。OpenRouterは影響を受けた顧客にメールで連絡し、その後の週末にインシデント通知を公表した。Phalaは、10月21日から11月8日の間にゲートウェイ経由でDeepSeekの1つのモデルに秘密情報を送った人に、それらを更新するよう呼びかけている。OpenRouterは、研究者のおとりプロンプトによる検証を自社プラットフォームに組み込み、チェックを継続的に走らせる方針だという。排除されたエンドポイントがデータ非保持ラベルを取り戻せるのは、保証と検証を経た後に限られる。Dragosは現在、約12の提供元と協力している。

ムーア氏はこう語る。プロンプトの行き先は自分で決めることであり、「決めなければ、最安値があなたの代わりに決めてしまう」。

タグ: , , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。