この3年間、AIをめぐる議論は「誰がいちばん大きなモデルを作るか」に終始してきた。だが、より地味な問い——そのモデルに1日何百万回も、落ちることなく答えさせ続けるにはいくらかかるのか——こそが、いまお金が漏れ出している場所だ。Red Hat、IBM、Google Cloud、CoreWeave、NVIDIAが立ち上げたオープンソースの推論プロジェクト「llm-d」がバージョン1.0に到達した。その狙いはまさにこの漏れにある。

仕組みは率直に説明しておく価値がある。AIエージェントは一つ質問して去っていくわけではない。長いセッションを保ち、同じ文書を何度も読み返し、並列のサブエージェントを次々と立ち上げて、予測できないタイミングでハードウェアに負荷をかける。このパターンでは、文脈を扱うコストが答えを生成するコストを上回ることがある。CoreWeaveでAI/MLエンジニアリング担当副社長を務めるシャディ・サバ氏は、大規模にモデルを運用するチームは例外なく「出力そのものより管理のほうが高くつくことの多い文脈」という問題にぶつかると語る。llm-dの答えはルーティングだ。各リクエストを、その文脈をすでにキャッシュに持っているサーバーへ送り、一から再計算しないようにする。

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

1.0の主眼は新機能よりも、既存の機能を何カ月も安心して動かせるようにすることにある。llm-dはすでに、キャッシュを意識したルーティング、KVキャッシュのオフロード、プリフィルとデコードの両フェーズを別々のマシンに分ける仕組みを、vLLMやSGLangといったモデルサーバーの上で提供してきた。新バージョンでは、遅延に敏感なリクエストと突発的に負荷をかけるエージェントが互いを締め出すことなく一つのGPU群を共有できる優先度・公平性制御、無停止アップデートのための高可用性ルーター、安定したv1設定API、そして複数ターンの会話をキャッシュ済みの状態の近くに保つセッション単位のルーティングが加わった。

発表に含まれる性能値は貢献企業自身のデモによるもので、第三者の検証ではなく主張として読むべきだ。あるデモでは、研究者が約7530億パラメーターのオープンウェイトモデル「GLM 5.2」を広く普及したNVIDIA製GPUで動かし、ピーク時に毎分660万トークン超の出力、最大3000の同時コーディングエージェントを処理した。現在のクラウドのレンタル料金で換算すると、トークン当たりのコストは同等の商用API価格の5分の1から10分の1だったという。IBM Researchは、量子誤り訂正向けチップ設計のプロジェクトで、完全にプロプライエタリな構成と比べて推論コストが11.5分の1になり、キャッシュヒット率は約98%だったと報告している。

より示唆的なのは、すでに誰が頼っているかだ。JetBrainsは、コーディングエージェントの無料プラン「Junie Lite」のトラフィックのかなりの部分をllm-dが処理していると明かす。DigitalOceanはサーバーレス推論をllm-dの上で動かし、MistralとRobloxも自社の配信レイヤーをこのプロジェクトの上に構築していると説明する。Google CloudはTPUとNVIDIA製GPUのラインアップ全体で1.0をGoogle Kubernetes Engineに統合中で、AMDは自社のInstinctアクセラレーターへの対応を進めている。

llm-dは2025年に設立され、現在はCloud Native Computing Foundationの管理下にあり、25を超える組織から500人以上が開発に参加している。バージョン1.0は2026年10月20日にサンノゼで発表され、オープンソースソフトウェアとしてすでに利用できる。

その帰結は力関係の変化だ。AIで高くつくのが学習ではなく配信であるなら、配信レイヤーを握る者が請求書を握る。llm-dは、そのレイヤーを一社のAPIに閉じ込めず、共有されたオープンなものとして保とうとする試みである。

タグ: nvidia, AIエージェント, 大規模言語モデル, IBM, Cloud Native Computing Foundation, CoreWeave