OpenAIのJalapeñoチップ、ワットあたりの推論効率でNvidia Blackwellの1.9倍を達成

OpenAIが自社チップを開発した。同社は8月25日に開催されたHot Chipsカンファレンスで、Broadcomとの協業で設計したシリコン「Jalapeño」を発表。推論処理を1キロワットあたり毎秒85,448トークンの速度で実行する。現行市場の標準であるNvidiaのBlackwellアーキテクチャは、同じ指標で44,960トークンにとどまる。その比率は1.9倍だ。

この指標が重要なのは、推論がAIシステムの本番運用そのものだからだ。トレーニングは一度きりだが、推論はChatGPTにクエリを送るたび、APIを使うたび、言語モデルを動かすあらゆるアプリケーションとやりとりするたびに発生する。大規模推論のコストはAIサービスの経済性を左右する主要因だ。推論時のエネルギー消費をほぼ半分に抑えるチップが広く展開されれば、モデル実行におけるクエリあたりのコストは変わる。

応答レイテンシーが制約となるインタラクティブなワークロードでは、Jalapeñoの優位性はさらに広がる。Hot Chipsの発表内容を報じたSemiAnalysisのレポートによれば、同チップはBlackwell比で2.1倍から4.1倍の性能差を示した。この幅はタスクの種類によるばらつきを反映したもので、下限値がより保守的な比較となる。

このチップは推論のみを処理する。Jalapeñoが実行するように設計されたモデルを生み出したトレーニングワークロードは動作しない。それらには依然としてNvidiaのハードウェアが必要だ。BroadcomはOpenAIとのカスタム設計契約に基づき本チップを製造したもので、市販品として販売するものではない。この取り決めによりOpenAIは、自ら半導体市場に参入することなく、推論専用のカスタムレイヤーを手に入れた。

OpenAIの展開スケジュールには制約がある。小規模なロールアウトは2026年末までに計画されており、より広範な展開は2027年を目標としている。チップはまだエンジニアリングサンプル段階にあり、量産版は未出荷である。Hot Chipsで示されたベンチマークは設計目標値であり、検証済みの生産実績ではない。カスタムシリコンの発表会から本番展開までのギャップは、通常数年単位で測られる。

この発表は、大手AI企業がカスタムシリコンへと向かう大きな流れに沿ったものだ。Googleは自社のTensor Processing Unitをこの10年間、本番環境で運用してきた。AmazonはTrainiumとInferentiaをAWS上で稼働させている。Metaは社内向けに独自の推論チップを運用している。OpenAIの参入は、数億人のアクティブユーザーを抱える規模になると、外部GPUベンダーに全面的に依存する経済性が、カスタム設計プログラムのコストを正当化するほど困難になることを裏付けている。

タグ: OpenAI, nvidia, AIチップ, Broadcom, Jalapeño, 推論