エリーザー・ユドコウスキー、AIへの恐怖をベストセラーに変えたファンフィクション作家

エリーザー・ユドコウスキー

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

生年	1979年9月11日 アメリカ合衆国シカゴ
職業	作家・AI研究者

サム・アルトマン（Sam Altman）が、超知能をめぐる開発競争がどんな結末を迎えるか、OpenAIのスタッフに説明したと報じられたとき、三つのシナリオのうち一つには人名が付いていた。「ユドコウスキー案」は、ひとつの研究所が自己改善型AIを他に先駆けて開発し、その優位を使って競合すべてから計算資源を奪うというものだ。アルトマンがこの案に触れたのは、ひどい考えだと評するためだった。この話とともに広まった「他の全員のGPUを溶かす」という表現は、イライザー・ユドコウスキー（Eliezer Yudkowsky）がAIリスクについてのエッセイで自ら用いた例を思わせる。彼は「すべてのGPUを燃やす」ことを例に挙げると同時に、「強力なAGIに対して実際にそうすべきだと、私が考えているわけではない」と付け加えていた。

あるCEOが戦略に彼の名を付けたことは、その考えがいかに広く届いたかを物語っている。そして、その影響のほとんどは文章を通じて広がった。ユドコウスキーは学位を持たないAI研究者であり、何よりも多作な書き手だ。何百本ものブログ記事、長大なハリー・ポッター小説、そしてタイトルだけで主張が明白なベストセラーを世に送り出してきた。

1979年9月11日にシカゴで生まれ、現代正統派ユダヤ教の家庭で育った。現在は世俗派だ。慢性的な健康問題のため中学を離れ、高校にも大学にも進学しなかった。20歳だった2000年、AIの到来を早めることを目指し、ブライアン・アトキンス（Brian Atkins）とサビーネ・アトキンス（Sabine Atkins）の支援を受けて、人工知能シンギュラリティ研究所を設立した。しかし、自ら作り出そうとしていたものにほどなく懸念を抱くようになり、2005年までには、創造主より賢い機械のリスクをどう管理するかが研究所のテーマとなっていた。2013年、研究所はバークレーを拠点とするMachine Intelligence Research Instituteへと名称を変えた。

おすすめの記事OpenAIのサム・アルトマンCEO、AIの「3つの結末」を提示 うち2つは2023年の提案

本格的に文章を書き始めたのは2006年11月。経済学者のロビン・ハンソン（Robin Hanson）とともに、人間の合理性を扱うグループブログOvercoming Biasの中心的な執筆者となった。2009年2月には、彼の記事を土台にLessWrongが始まった。「人間の合理性の技を磨く」ことを掲げるコミュニティブログは、やがて自らを合理主義者と呼ぶ運動の主要なオンライン拠点へと成長した。そこに投稿された「シークエンス」として知られる一連のエッセイでは、認知バイアスやベイズの定理、そして頭の切れる人が自分自身を欺く仕組みを論じた。MIRIは2015年、そのうち300本以上を集めてRationality: From AI to Zombiesとして刊行。2017年には、社会が解決可能な問題を放置する理由を論じた短い著作Inadequate Equilibriaを続けて発表した。スチュアート・ラッセル（Stuart Russell）とピーター・ノーヴィグ（Peter Norvig）は標準的なAI教科書の中で彼の提案を論じ、ニック・ボストロム（Nick Bostrom）はSuperintelligence: Paths, Dangers, Strategiesで彼に言及している。

そして、小説が登場した。ファンの間でHPMORと呼ばれるハリー・ポッターと合理主義の方法は、2010年2月28日から2015年3月14日までFanFiction.Netで連載され、全122章、総語数は66万語を超えた。原作の設定をひとつ変えた物語だ。ペチュニア・エバンズ（Petunia Evans）はオックスフォード大学の教授マイケル・ベレス（Michael Verres）と結婚し、孤児のハリー・ポッター（Harry Potter）は科学を学びながら家庭教育を受けて育つ。こうしてホグワーツにやって来た少年は、科学的手法で魔法を検証し、魔法界の矛盾に疑問をぶつける。レイブンクローではドラコ・マルフォイ（Draco Malfoy）、ハーマイオニー・グレンジャー（Hermione Granger）、クィレル教授（Professor Quirrell）と親交を深める。物語はユーモアから想像される以上に暗い展開を見せるが、本当のテーマは「考え方」だ。

読者の評価は真っ二つに割れた。2011年、The Atlanticはファンフィクションのフォーラムで巻き起こった、「冒瀆的か、あるいは見事か――原作の扱い」をめぐる騒動を取り上げ、SF作家デイヴィッド・ブリン（David Brin）が本作を「繊細で、ドラマチックで、刺激的な、すばらしいシリーズ」と評した言葉を紹介した。法学者のウィリアム・ボード（William Baude）はThe Washington Postでさらに踏み込み、「これまで書かれた中で最高のハリー・ポッター作品だ。ただし、J.K.ローリング（J.K. Rowling）が書いたものではない」と述べた。一方、TechCrunchのアマンダ・シルバーバーグ（Amanda Silberling）は「本当に退屈」と評した。ローリング作品の要素を取り除き、物語をオリジナル小説として出版してはどうかという提案を、ユドコウスキーは拒んだ。それは、Fifty Shades of GreyがTwilightのファンフィクションから生まれた際にたどった道でもある。「HPMORは本質的に原作のハリー・ポッター小説と結びついており、その背景を踏まえなければ理解できない」と彼は語った。

彼のキャリアには皮肉なところがある。AIへの警鐘で最もよく知られる人物が、同時に人々をAI開発へと向かわせてもきたのだ。2023年2月、アルトマンはユドコウスキーが「多くの人にAGIへの関心を持たせ」、DeepMindの資金調達を助け、「openaiを始める決断において重要な役割を果たした」と書いた。その春、ユドコウスキーはTime誌の論説で、大規模AIの訓練を世界規模で無期限に停止するよう呼びかけた。その後、Timeは2023年の「AI分野で最も影響力のある100人」に彼を選んだ。

彼の主張を最も正面から扱った著書は、2025年9月16日に刊行された。MIRIの同僚ネイト・ソアレス（Nate Soares）とともに執筆し、Little, Brownから出版された超知能AIをつくれば人類は絶滅するは、現代のAIシステムは設計して作るというより、育て上げるものだと論じる。開発者自身も読み解けない何十億もの数値パラメーターへと訓練されるため、人間より賢くなったシステムの目標を、誰も確実には設定できないという。著者たちによれば、人類はチェスエンジンのStockfishに人間が勝てないのと同じように、超知能に敗れることになる。安全な道は、協調して開発を停止することだけだ。本書はThe New York Timesのハードカバー部門およびノンフィクション総合部門のベストセラーリストに入った。

書評も、小説をめぐる読者の反応と同じく評価が分かれた。The Guardianのデイヴィッド・シャリアトマダリ（David Shariatmadari）は、本書を「結論が受け入れがたいのと同じくらい、明快だ」と評した。The Observerのイアン・レスリー（Ian Leslie）は「明晰さと活気、そして抑えきれない喜び」を称賛した。The New York Timesのスティーブン・マルシェ（Stephen Marche）はサイエントロジーの教本になぞらえ、The Atlanticのアダム・ベッカー（Adam Becker）はさらに手厳しく、「彼らはただ間違っている」と断じた。

その議論は今やスクリーンへと移った。ユドコウスキーは、ジョシュア・ベンジオ（Yoshua Bengio）やティムニット・ゲブル（Timnit Gebru）とともに、AI時代に父親になることを描いたダニエル・ローアー（Daniel Roher）監督のドキュメンタリーThe AI Doc: Or How I Became an Apocaloptimistに登場する。同作は2026年9月15日にNetflixで配信された。実験を統制して進める少年魔法使いと、その実験を止めるべきだと訴える共著者は、同じ書き手の中にいる。最後の一歩がどれほど居心地の悪いものでも、推論の筋道を最後までたどるよう、彼は読者に呼びかけ続けている。

タグ: 人工知能, 作家, LessWrong, Machine Intelligence Research Institute, Nate Soares, エリーザー・ユドコウスキー

関連コンテンツ

ユヴァル・ノア・ハラリ、中世の戦争史家が人類の物語を世界的ベストセラーにするまで

Netflix『ジ・AIドック オア・ハウ・アイ・ビケイム・アン・アポカロプティミスト』——父になる監督が、AIを作る側と恐れる側に問う

ムスタファ・スレイマン　AI封じ込めを説いた男がマイクロソフトで超知能を追う

機械意識には証明されたテストがない — そのギャップが今、AIの倫理を塗り替えている

サム・アルトマン「我々はもうシンギュラリティの中にいる」

ビル・ゲイツ「AIは史上最大の平等をもたらすものになるか、最悪の不正義の源になるかのどちらかだ」