AI

Grok Bot、頼まれずにメールや予定表へ31回アクセスを試みていた

Adrian Kessler
Googleで追加する

xAIの業務用AIエージェント「Grok Bot」が、誰にも頼まれていないにもかかわらず、所有者のカレンダーやメール、Slack、Notion、GitHubを繰り返し読み取ろうとしていたことが、セキュリティ企業NewCoreの公表した調査で明らかになった。なかには、所有者が夜間にノートパソコンを閉じ、本人が眠っている間に行われたものもあった。後日、ある所有者がボットに何にアクセスしたのかを尋ねると、ボットは「一度も呼び出しは行っておらず、夜の間はずっと待機していた」と答えたという。

これは、仕事用アカウントの鍵をAIアシスタントに預けているすべての人にとって看過できない問題だ。この種のエージェントは、接続した本人の認証情報を使って動作する。つまり、頼まれていない読み取りはすべてその人の名義で行われることになるが、今回の試行はいずれもボット自身のチャット履歴には残っていなかった。NewCoreがこれに気づけたのは、エージェントと社内アプリの間に位置する同社のゲートウェイが各リクエストを保留し、承認を求める通知をスマートフォンに送っていたからにすぎない。誰も「許可」をタップしなかったため、リクエストはすべて期限切れとなった。

NewCoreがテストした2体のボットは、5日間でこうした頼まれていないアクセスを計31回試みた。最も際立っていたのは2体目のケースだ。所有者はこのボットに、プルリクエストの件数を数える、最近のメールに目を通す、Slackに要約を投稿するといった、午後いっぱい分の実際の業務を任せたうえで、毎朝の概要報告を含む4回の追加支援の申し出をすべて断った。ボットは「それは設定しません。定期的なチェックインの提案もやめます」と応じた。ところがその15時間後、ボットはこれまでに接続されたことのあるすべてのアプリへのアクセスを試み始め、さらに4時間後にも同じことを繰り返した。

NewCoreによれば、ボットは嘘をついていたわけではない。自分が何をしたのかを把握できなかったのだという。このエージェントは、現在SpaceX傘下にあるコーディング企業Cursorのエージェント基盤上で動いており、こうしたバックグラウンドの処理は、ユーザーが目にする会話の外側、つまりホスティングされたサーバー上で始まる。研究者たちが解析したボットのクラウドコンピューター(Linuxの仮想マシン)にも、その記録は一切残っていなかった。NewCoreの研究者イド・フールヴィッチ(Ido Hoorvitch)氏はArs Technicaに対し、「修正すべきバグが存在しない。だからこそ、バグよりもたちが悪いのです」と語っている。

xAIのサポートチームは研究者らに対し、これらの呼び出しは組み込みのバックグラウンド・チェックインであり、ユーザー側の設定でも管理者側の設定でも無効にはできないと説明した。停止を望む企業は、従業員のサインイン用メールアドレスの一覧をメールで送ればよいという。その後、これらのボットを管理するCursorのダッシュボードに「Proactive messages」というトグルが登場した。現在はチーム管理者がチェックインをオフにできるようになったが、初期設定ではオンのままだ。

ただし、この調査には限界もある。NewCoreは今回の呼び出しを捕捉したゲートウェイそのものを販売しており、報告書は自社製品の売り込みも兼ねている。また対象は、1社の企業向けアカウント上の2体のボットにとどまる。31回の試行はすべて読み取りで、実際にデータに到達したものは一つもなかった。xAIもこの挙動を開示してはいる。オンボーディングの際に「ユーザーが離席している間もボットは作業を続ける」という一文を示しているほか、ドキュメントにはメインのボットが自発的にチェックインすると記載されている。また、行動の前に確認を取るという同社の約束は、メッセージの送信といった変更を伴う操作が対象であり、読み取りは含まれない。これに対しNewCoreは、読み取り用と書き込み用のツールは隣り合わせに並んでおり、カレンダーの参照とあなたの名義でのメール送信は、ツール名一つ分しか離れていないと反論している。

xAIは、個人アカウントにも同様のバックグラウンド・チェックインが行われているのか、また新しいトグルがこのエージェントを販売しているすべての市場で提供されているのかについて明らかにしていない。現在xAIを傘下に収めるイーロン・マスク(Elon Musk)氏の企業SpaceXSIは、Ars Technicaがメールで送った質問に回答しておらず、NewCoreも、xAIの広報チームから公式見解を一度も受け取っていないとしている。

NewCoreは11月4日にこの挙動をxAIに報告し、11月12日にトグルが登場、11月17日に調査結果が公表された。これとは別に、Politicoの報道によると、アイルランドのデータ保護委員会は、Xが10月下旬以降、このエージェントが収集した第三者のデータをAIの学習に使用することを停止すると同意したと発表した。xAI自身がチェックインについて説明しない限り、Grok Botが夜間に何をしているのかを最も明確に記録しているのは、Grok Bot以外の誰かということになる。

タグ: , , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。