AI

Google CEO スンダー・ピチャイ、Googleの「AIが書いたコードの割合」は無意味と発言 自己改善AIは「まだ遠い」

Adrian Kessler
Googleで追加する

Googleの最高経営責任者、スンダー・ピチャイ(Sundar Pichai)は、もはや数えるのをやめた。社内のコードのどれほどがAIによって書かれているのかと尋ねられたピチャイは、AIがコード全体に関わっているため、その質問にはもう意味がないと答えた。同じインタビューでは、業界の多くが身構えている局面、つまり人間が関与しないままAIが自らのより優れたバージョンを作り出す未来についても、差し迫ったものではないとの見方を示した。

どちらの主張も正しい可能性はある。問題は、それを誰が確かめるのかという点だ。ピチャイが脇に置いた数字は、外部の人間が他社と比較できる数少ない指標だった。それに代わる数字も、自己改善型AIについての慎重な見解を裏づける証拠も、GoogleがGoogleを測定した結果に基づいている。

AIとGoogleのコードについて、スンダー・ピチャイが語ったこと

ピチャイは、Googleのマウンテンビュー本社で収録され、アレックス・カントロウィッツ(Alex Kantrowitz)が司会を務める「Big Technology Podcast」に出演した。インタビューは、カントロウィッツによる書き起こし形式のQ&Aとしても公開されている。Googleのコードの4分の1がAIによって書かれているという以前の説明を持ち出し、現在の数字を尋ねたカントロウィッツに対し、ピチャイはその質問を「意味がない」と述べた。現在、Googleが手を入れるコードは、どの部分も「深くAIの影響を受けている」からだという。

代わりにピチャイが示したのは、Googleの最新モデル「Gemini 4 Argon」を自社のエンジニアに使わせてから得られた数字だった。公開後4週間で、コード提出を社内で指す「CL」は30%増加し、リリース後に取り消さなければならない変更、つまりロールバックは3分の1減ったと、ピチャイは説明した。「今はより新しい指標で追跡しています」と述べている。

以前の指標が自然に使われなくなったわけではない。SemaforとETV Bharatによると、Googleは4月のブログ投稿で、新たに書かれたコードに占めるAI生成分の割合を75%と発表した。2024年の25%、前年秋の50%から上昇した数字だ。Semaforは当時、こうした主張の一部は事実確認がほとんど不可能に近いと指摘し、65%とするSnapや、同程度の水準を目指すMetaの例と並べて報じていた。

自己改善型AIの実現はまだ先だとピチャイが語る理由

再帰的自己改善(RSI)について、ピチャイは共同創業者の発言を補足する形で説明した。セルゲイ・ブリン(Sergey Brin)はRSIをArgonにとって重要な要素だと述べていたが、「RSIの最終形には、まだかなり遠い」とピチャイは語った。さらに、Googleの現状をこう説明している。「正確に言うなら、モデル開発のさまざまな側面で、AI研究者と並行してRSIのループが動いているということです。AI研究者を助けるエージェントが、何らかの形で自動化され、協力してモデルを作っている段階に近いと思います」

ブリンは数日前、さらに踏み込んだ発言をしていた。Googleが公開したArgonに関する座談会で、同社は「RSIのトレッドミルに乗り始めている」とし、「今では研究者とモデルが協力して、次のバージョンのモデルを作っている」と語ったと、Business Insiderは報じている。今月公開されたGladstone AIの報告書によると、Anthropic、OpenAI、Google DeepMindの研究者のうち、同社がインタビューした人の大半は、RSIが3カ月から12カ月以内に始まると見込んでいる。

Googleの安全性報告書は、Google独自のテストでピチャイの見解を支持

書面上では、報告書の内容はピチャイの見方に沿っている。TNWによると、Google DeepMindが公表したArgonの安全性・セキュリティ報告書は、「AI主導か否かを問わず、AIの研究開発が端から端まで大幅に加速した事実は確認されていない」とし、そのリスクを「現時点では低い」と評価した。報告書によれば、AIエージェントは「本番環境のコードとバグ修正の大半を作成しているものの、コード変更は提出前に人間のレビューを受ける」。人間がほぼ関与せずに作成されたプルリクエストの割合は、4月の7.5%から9月には11.9%に増えた。それでも約88%には、繰り返し人間が指示を出すか、人間が書いたコードが必要だ。

ただし、こうした調査結果はGoogle独自の測定手段から得られたものだ。AIがAI研究を自動化できるかどうかの判定には、社外の誰も実行できない、74のタスクから成る社内ベンチマークが使われている。LessWrongに掲載された分析は、報告書自体にある次の記述を取り上げている。Googleが当初監査したタスクの「約4分の1には、どの提出物も合格できなくなるバグが含まれていた」。実行の多くがタイムアウトしたため、報告書はArgonの正確な推定値を示していない。完了した実行のうち、Argonが解決したのはおよそ半数だった。Googleは、未完了の実行がすべて成功していたと仮定しても、評価は変わらないとしている。

安全性をめぐる議論の要となっているのは、人間によるレビューだ。コード提出が30%増えれば、その関門を担う人たちが確認すべき変更も30%増える。一方、ピチャイが選んだ指標が数えているのは、成果物の量と差し戻しであり、個々の変更がどれだけ慎重に読まれたかではない。

ピチャイ自身が示す解決策――独立した監査人

ピチャイは懸念を一蹴したわけではない。アラインメント研究には依然として「明確な不足があり」、「懸念を抱くのはもっともだ」と述べた。次の段階として同氏が挙げたのは、「独立した評価者を使った評価を可能にすることを含む」業界横断の基準づくりだ。会計基準や外部監査人を手本とし、規制も「最終的には役割を果たすことになる」との見通しを示した。

その基準に照らせば、今週示された二つの主張は、どちらもまだ監査を受けていない。Googleは自社の変更リストを数え、自社のロールバックを評価し、自社の研究ベンチマークを採点している。

ピチャイが意味のないものと呼んだ割合は大ざっぱな指標だったが、誰でもSnapの数字と並べて比べることができた。それに代わる数字は、Googleの内側からしか読み取れない。

タグ: , , , ,

Googleで追加する

ディスカッション

0件のコメントがあります。