アンソロピックが公表：ClaudeがAI研究の26%を自律的にリード — 9カ月でゼロから急成長

AnthropicにおけるAI研究タスクの4つに1つは、現在Claudeが先導している。Claudeを補助として割り当てるのでも、後からClaudeにレビューさせるのでもない——高レベルのプロンプトから始まり、エンドツーエンドで完了し、完了時に人間が結果を確認する。9ヶ月前、その割合は1パーセント未満だった。

Anthropicは二つのものを区別している。Claudeがタスクを先導する場合、作業の大部分を独立して処理し、監督者は各ステップを指導するのではなく出力を検査する。これは、Anthropicの全研究開発の90％においてClaudeがコラボレーターとして機能する——人間が操縦し、Claudeが特定の部分を処理する——のとは異なるカテゴリーだ。「先導」の方がより厳しい分類である。研究者がそうしたタスクに費やすであろう時間で加重すると、現在、同社が行う全AI研究の26％を占めている。

その規模は具体的だ。約3万のClaudeエージェントがAnthropicの内部プラットフォーム上で同時に稼働し、モデルトレーニング、評価、解釈可能性研究、安全性分析にわたる作業を実行している。8月には、これらのエージェントが合計で10億以上の判断を下した。Anthropicのリアルタイム監視システムは、実行前にそのうち0.002％——およそ47,000アクションに1つ——をブロックした。その後、オフライン層が週に約10万件のトランスクリプトをレビュー用にフラグし、そのうち約50件を人間にエスカレーションした。

そのシステムには安全性に測定可能な予算が割り当てられている。7月の1週間において、エージェントの安全性を保つための作業は、全AI研究開発コンピュートの6％、そしてAI主導のR&D自体が使用しているコンピュートの12％を消費した。Anthropicは控えめに分類し、専用の安全分類器をカウントから除外したと述べており、これは真の割合がさらに高いことを示唆している。

認識論的な問題がこのすべての中心にある。Anthropicの研究に対するClaudeの貢献は、部分的にClaude自身によって評価されている。あるClaudeモデルがClaudeの作業を評価する。監視の数値は一つの内部プラットフォームのみをカバーしており、コンピュートの分類はClaudeモデルが自身の実行をサンプリングしてラベル付けすることに依存していた。独立した第三者による方法論の監査は行われていない。Anthropicが公表した三つの数値は正確だが、それらは自己申告による正確性であり——検証された正確性とは別物である。

Anthropicは、プロセス内部に外部評価者を組み込み始めると述べている。名前も開始日もなく、他のAI研究所からの同様の開示もまだ現れていない。26％という数字は、これまでの推移から見て、天井ではなくスナップショットである。

タグ: Anthropic, AI, Claude, AI安全性, 機械学習, AI研究