AI

Anthropic、AIの自己改良の閾値到達を判断 安全規則を発動

Adrian Kessler
Googleで追加する

Anthropicは、人工知能が自らの研究を加速させ、同社が独自に設けた一線を越える段階に達したと正式に判断した。Claudeを開発する同社は、修正後のIPO目論見書で、モデルに求めるセキュリティ対策や監督の水準を定めた社内規則「Responsible Scaling Policy」における、AIの研究開発能力のしきい値に達したと説明している。同ポリシーでは、このしきい値を「再帰的自己改善」の始まりと位置づけている。AIシステムが、より優れたAIをつくる作業そのものを加速し始める段階だ。

今回の判断が異例なのは、何を根拠としていないかにある。Anthropicは、現行モデルで確認された事実ではなく、「将来のモデルについての予測と、全体的な進歩のペースに基づいて」判断したと記している。販売中のClaudeモデルがこの一線を越えたと示されたわけではない。同社は自らの予測に基づいて対応を進め、その事実を株式の取引開始前に投資家へ伝えている。

同社が根拠として挙げるのは、社内のデータだ。目論見書によると、最近のある1カ月間にAnthropicのコードベースへ加えられた変更のうち、90%超をClaudeが記述した。また、エンジニア1人が1日に書くコードの量は45倍以上に増えているという。Anthropicはさらに、自社モデルが「コードの大きく、拡大し続ける割合を記述し、研究、とりわけ安全性に関する研究もますます担うようになっている」としている。

このしきい値を越える条件は、ポリシーで2通り定められている。1つは、Anthropicの研究科学者とエンジニア全員を、競争力のあるコストで完全に代替できるモデルが登場すること。もう1つは、AIの進歩が「劇的に加速」することで、ポリシーでは、約2年分の進歩が1年に詰め込まれる状態と定義されており、自動化された研究によって実現する可能性がある。後者の条件は、同社がそうした飛躍を「確認、または予測」できる場合にも該当するため、予測だけで発動の条件を満たす。

一線を越えたことで、Anthropicにはより厳格な一連の安全対策が求められる。ポリシーは、世界でもっとも潤沢な資金を持つ攻撃者に対抗する「ムーンショット級」のセキュリティ計画と、重要なAI開発活動をすべて記録し、AIで分析して、人間または機械による内部からの脅威も含めて監視する「すべてを見守る」体制を求めている。社内のレッドチームは、バグ報奨金プログラムに参加する外部研究者全員を合わせた数よりも多くのジェイルブレイクを見つけなければならない。目論見書によれば、同社はすでに、モデルの重みが盗まれるリスクへの対策を強化するため、新たな最先端モデルの事前学習を1カ月以上延期した。また、Claudeが研究をより多く担うなか、一部の研究上の判断に人間の承認を義務づけるルールも検討している。

仕事でClaudeやClaude Codeを使う人にとって、実際に感じられる影響は、リリースの遅れかもしれない。IPO関連資料とともに公表された創業者からの書簡では、Anthropicが「システムの安全性を高めるため、競争上不利になるとしても、可能なペースよりあえてゆっくり進む」ことを選ぶ場合があると述べている。現時点でアプリに変更はない。

今回の判断は、Anthropicが自ら作成し、改定できる自主的なポリシーに基づく自己評価であり、外部監査人による確認は受けていない。同ポリシーは、しきい値を「実際に運用するのが難しいことが分かっている」と認めている。また、提出書類も、証拠の多くは遅行指標に基づくため、実際に加速が起きても、その後になって初めて気づく可能性があるとしている。目論見書に記載されるリスク情報は、将来の訴訟から企業を守る目的でも作成される。Gizmodoが報じたように、同じ文書の以前の版では、Anthropicは基準を「間もなく満たす可能性がある」と述べるにとどまっていた。

Anthropicは、根拠となるデータの評価を続けており、このしきい値に達したことの意味について、今後さらに報告書を公表するとしている。同社株は11月18日に価格が決まり、11月19日にティッカーシンボル「ANT」でNasdaqでの取引を開始する見通しで、提示された価格帯は1株70〜78ドル。現時点で、この一線を越えたことを示す唯一の根拠は、Anthropic自身の予測だ。

タグ: , , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。