ネイト・ソアレス、超知能AIの開発停止を訴えるAI研究者

ネイト・ソアレス

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

生年	1989
職業	AI研究者

ネイト・ソアレス（Nate Soares）は、Googleに勤めていたころに開設した退職金口座を今も持っている。ただし、そこにお金を積み立てるのは、もう10年ほど前にやめた。無頓着だからではない。Machine Intelligence Research Institute（MIRI）の理事長を務める彼は、自分が老いてそのお金を使う年齢になる前に、超人的な人工知能が人類を滅ぼす可能性が高いと考えている。いまではその考えを、試験結果を読み上げる技術者のような、平板で落ち着いた口調で公に語る。「私は、AIで仕事がなくなると騒ぐタイプではありません」と、今秋、インタビューで話した。「AIが人類を皆殺しにすると思っているタイプです」。彼の仕事の根底にあるのは、最悪の事態を予想している人間でも、技術を開発する人々に開発をやめさせられるのか、という問いだ。彼はこの問いに、もう決着がついたかのような扱いをすることを拒んでいる。

彼を簡単に退けられない理由は、その経歴にある。ソアレスは、遅くにコンピューターの世界へ入った哲学者ではない。ジョージ・ワシントン大学でコンピューターサイエンスと経済学を学び、その後、連邦政府向けのソフトウェア開発に携わった。まずNational Institute of Standards and Technologyの研究員として働き、続いて国防大学向けのツールを開発する国防総省の契約業者となった。その後にMicrosoftとGoogleで働いた。いま彼が政府に規制を求めているのは、まさにそうした企業だ。

2014年、20代半ばだった彼（1989年生まれ）はGoogleを離れ、カリフォルニア州バークレーにある小さな非営利団体に加わった。そこでは何年にもわたり、業界の大半がSFの題材と見なしていた問いを追い続けていた。自分より賢い知性に、こちらの意図どおりの行動をさせるにはどうすればいいのか。MIRIの研究フェローとなったソアレスは、研究所の技術研究アジェンダの筆頭著者を務めた。ベンヤ・ファレンスタイン（Benya Fallenstein）と共同で執筆し、のちに「Agent Foundations for Aligning Machine Intelligence with Human Interests」として発表されたものだ。2015年1月、このアジェンダは、スチュアート・ラッセル（Stuart Russell）、ダニエル・デューイ（Daniel Dewey）、マックス・テグマーク（Max Tegmark）による論文「Research Priorities for Robust and Beneficial Artificial Intelligence」で引用された。同論文は、AI研究者に対し、システムの生の能力だけでなく、社会にもたらす利益も同じくらい真剣に考えるよう促す公開書簡とともに発表された。

同じ時期に、彼の研究分野の語彙の一部を形づくる論文も生まれた。ファレンスタイン、イライザー・ユドコウスキー（Eliezer Yudkowsky）、スチュアート・アームストロング（Stuart Armstrong）と共同執筆し、2015年初頭のAAAIワークショップで発表された「Corrigibility」は、一見単純でありながら、実際には難しい問題を扱った。役に立つほど高性能なシステムは、訂正されたり、電源を切られたりするのを拒めるほどの能力も持ちうる、という問題だ。ソアレスとユドコウスキーによれば、この論文が「AI alignment problem（AIアラインメント問題）」という言葉を生み出した。いまでは、彼らが反対する計画を進める研究所そのものが使っている表現だ。

2015年後半、ソアレスはルーク・ミュールハウザー（Luke Muehlhauser）の後任としてMIRIのエグゼクティブ・ディレクターに就任し、8年間その職を務めた。彼のもとで同研究所が取り組んだのは、製品ではなく抽象数学だった。意思決定理論、論理的不確実性、そしてエージェントが自分自身についてどう推論すべきかという形式的な問題である。スコット・ガラブランド（Scott Garrabrant）らと「A Formal Approach to the Problem of Logical Non-Omniscience」を共著し、ベンジャミン・レヴィンスタイン（Benjamin Levinstein）とは意思決定理論の論文「Cheating Death in Damascus」を執筆。後者は2020年にThe Journal of Philosophyに掲載された。2017年にはGoogleに戻り、アラインメント分野に残された未解決問題を示す講演を行い、それらはこの分野で考えられている以上に難しいと論じた。また、ブログ「Minding Our Way」では、動機づけをテーマにした一連のエッセイReplacing Guiltも発表した。現在は書籍として購入できるこの作品によって、一部の読者の間では、機械についての主張よりも、仕事の進め方に関する助言で知られるようになった。

転機が訪れたのは2023年だ。MIRIは、技術的な研究の一部を支援し続けながらも、重点をアラインメント研究から、政策立案者や一般市民への警鐘へと移すと発表した。ソアレスはエグゼクティブ・ディレクターから理事長となり、マロ・ブルゴン（Malo Bourgon）が最高経営責任者に就いた。2025年、ソアレスはThe Atlanticに対し、適切な安全策を講じるにはAI開発の進展が速すぎるため、世間の認識を高めることに力を注いでいると語った。

こうした方針転換から生まれたのが、ユドコウスキーと共同執筆し、2025年9月にLittle, Brownから刊行されたIf Anyone Builds It, Everyone Diesだ。主張はタイトルに集約されている。「現在の手法に少しでも似たものを使って」超知能を開発すれば、人類はほぼ確実に絶滅する。アラインメント研究は到底間に合う段階に達しておらず、著者たちが破滅的に危険だと考えるシステムへ向かう開発競争を止められるのは、国際的な規制だけだという。2025年10月、本書はThe New York Timesのベストセラーリストに入った。その後Planetaからスペイン語版が刊行され、早川書房は2026年4月に日本語訳を出版した。

本書への反応は、主張の弱点を浮き彫りにした。最も厳しい批判の一部は、著者たちと同じ懸念を抱く人々から寄せられた。実効的利他主義運動の創設者の一人、ウィル・マカスキル（Will MacAskill）は、本書を期待外れだと評し、進化との類推に基づく弱い議論や、AIの進歩は段階的に進むのではなく飛躍するという明示されていない前提に頼っていると指摘した。クララ・コリアー（Clara Collier）がAsteriskに寄せた書評は、共感を寄せる読者のもどかしさを端的に表すタイトルを掲げていた。「More Was Possible」だ。ソアレスがあまり掘り下げない、気まずい点もある。MIRIは何年もアラインメントの解決を試みた末に、間に合う形では解決できないと結論づけた。これは知的誠実さの表れとも読める一方で、研究計画そのものが失敗したという認め方とも受け取れる。自らの確信を擁護するために、彼が持ち出すのはチェスのたとえだ。どの駒が詰みを決めるか知らなくても、マグヌス・カールセンが自分に勝つことは確信できる、と。批判する人々にとって、まさにそこが問題なのだ。終局について予測しながら、そこに至る指し手の説明がない。

こうした批判を受けても、彼の姿勢は揺らいでいない。2026年10月、ニコラス・トンプソン（Nicholas Thompson）がホストを務めるポッドキャストThe Most Interesting Thing in AIで、ソアレスは人類があと10年もたない確率は五分を超えると述べ、手つかずの401(k)についても説明した。同じ対話のなかで、彼は結末が決まっているわけではないとも強調した。「この事態を止めるために、できることは何でもしています。避けられないとは思っていません」と話し、C・S・ルイス（C.S. Lewis）のエッセイ「On Living in an Atomic Age」に言及した。爆弾が落ちるとしても、人々が怯えてうずくまるのではなく、分別ある人間らしい営みをしているところに落ちるべきだ、という主張だ。彼なりに言えば、「核不拡散条約を求めて政府に働きかけているところを見つけてもらおう」ということになる。

それが、彼が選んだ仕事だ。ソアレスは今もMIRIの理事長を務め、インタビューや講演、ブリーフィングに時間を費やしている。目的は、周縁的な研究上の懸念を、超知能に向かう開発競争を止める国際合意へとつなげることだ。Googleの退職金口座は、いまも閉じられていない。ただ、そこに賭けるのをやめただけだ。

タグ: 人工知能, Google, AI安全性, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares

ネイト・ソアレス、超知能AIの開発停止を訴えるAI研究者

関連人物

ディスカッション