OpenAIがAGI到来を宣言。引用したベンチマークのスコアは37ポイント低かった

ジェンセン・フアン（Jensen Huang）がXに投稿したのは、たった一文と祝福の言葉だった。「ChatGPTからo1、Astraへと4年、AGIが到来した。@OpenAIチーム、おめでとう」。彼がこれを送ったのは9月6日。その3日前、OpenAIの社長グレッグ・ブロックマン（Greg Brockman）は、ほぼ同じフレームでマスコミに向けて語っていた。「AGI時代へようこそ」。両者の宣言は間を置かずに発せられ、互いに補完し合う利害を持つ二人の人物から発せられたそれらは、主に確認として受け止められた。

その主張の根底にあったベンチマークはARC-AGI-3だ。OpenAIは、GPT-6の名称でリリースされた新たなフロンティアモデルAstraが、ARC-AGI-3で99.9％、FrontierMath Tier 4で98％を達成したと発表した。標準条件下でのそのスコアは、真の非連続性を意味するものだろう――単に性能が良いだけでなく、かつてのベンチマークが目標として掲げていた領域に到達したモデルを示す。ARC-AGI-3を開発した組織は、自らの標準評価ハーネスによるスコアを公表した。それは62.7％だった。

その二つの数字を隔てるのは、37パーセンテージポイント。どちらも実際の評価に基づく。OpenAIの内部ハーネスとベンチマーク開発者のリファレンスハーネスは同じプロトコルではなく、同じモデルでもそれぞれ異なるスコアを出す。ARC-AGI-3の開発組織がリファレンス条件として用いるもの――分野全体でモデルを比較するために妥当と考えるもの――は62.7％を出力した。OpenAIの内部設定は99.9％を出した。この二つの数字の差は、強力なベンチマーク結果と、到来の宣言との差である。

AGI祝福の裏にあるチップ販売

AstraはNVIDIAのチップでトレーニングされた。フアンはNVIDIAのチップを販売している。CEOが公に、自社の顧客がある歴史的閾値を突破したことを祝福する――その閾値は、その製品を構築するために使われたハードウェアを、次に来る時代の基盤インフラとして定義づけるものだ――その構造は、本質的に商業的な主張である。陰謀論ではない。構造的な現実だ。利益相反は可視的であり、フレーミングは性能ではなく到来を軸にしており、報道の大半はそれを何のコメントもなく受け入れた。

AIインフラ向けのチップ市場は、ナラティブで動く。AstraがAGIなら、AstraをトレーニングしたものはポストAGI世界のハードウェアとなる――そして次のトレーニングランに向けてチップを購入する企業は、そのベンチマークを目指して購入するだろう。フアンの祝福は、その特定の意味において、製品ステートメントでもあった。そのステートメントは、ベンチマーク組織自身が別の数値で測定した数字に依存していた。

独立検証が示すもの――そして示さないもの

本稿執筆時点で、AstraはArtificial Analysis Intelligence IndexにもArena.aiのランキングにも登場していない――フロンティアモデル向けに最も注目されている独立評価システムの二つだ。主要なフロンティアリリースに対する独立検証は、通常数日以内に到着する。ここでの不在は、性能が低いことの証拠ではない。この規模の主張に通常伴うはずの外部検証が、まだ実現していないことを意味する。

ベンチマーク作成者による62.7％は反駁ではない。ARC-AGI-3――以前のベンチマークを膨張させた最適化のトリックに抵抗するよう設計されたテスト――でのそのレベルのスコアは、真に強力である。ARC-AGI-3の前身は飽和状態にあった。モデルはテスト問題に似たトレーニングデータを吸収し、新奇な推論で改善することなく数値を押し上げた。ARC-AGI-3は問題設計を変更し、パターン検索を超えた抽象化を要求するようにした。そのテストで、リファレンスハーネス下での62.7％は、2年前に存在したものをはるかに凌ぐ。

異議を唱えた研究者たちは、この点について正確だった。モデルの能力は彼らの標的ではなかった。性能から宣言への飛躍こそが標的だった。「これらのベンチマークで高得点を取る」と「AGIが到来した」の間には、一段階が必要だ。すなわち、到来を測定できる安定した合意されたAGIの定義である。そのような定義は分野全体に存在しない。OpenAIは内部定義を持っている。OpenAI自身の定義によれば、Astraは条件を満たすかもしれない。しかし、自社製品を自社で書いた定義に照らして測定することは、外部基準で測定された結果とは異なる種類の結果である。

定義を伴わなかった一文

フアンの投稿には留保がなかった。「AGIが到来した」は宣言文である――「ある尺度によれば」や「特定の定義のもとでは」ではなく、クリーンな到来だ。彼が挙げた4年間の進化――ChatGPT、o1、Astra――は、能力の軌跡として実在する。その系列の各モデルは、可能なことを拡張した。その系列を終点のある旅としてフレーミングし、終点を宣言することは、別の主張をする。すなわち、到来は旅と区別可能であり、傾斜ではなく線があり、Astraがそれを越えた、と。

その主張の背後にあるベンチマークの数字は62.7％だった。テストを構築した人々がそれを公表した。それが提起する問い――AGI宣言は測定なのか、市場の動きなのか――は、9月6日にそこにあった。報道は、その問いを発することなく、ほとんど答えていた。

タグ: 人工知能, nvidia, OpenAI, Jensen Huang, AGI, ARC-AGI-3