AMD、AIの重みを焼き付けるTaalasを買収——Nvidia比48倍の推論速度

AMDは、トロントに拠点を置くスタートアップTaalasを買収する。同社は、推論時にメモリから重みを読み込むのではなく、AIモデルの重みをシリコンに永続的に埋め込むチップを開発している。TaalasのHC1チップは、MetaのLlama 3.1 8Bで毎秒16,960トークンを生成。AMDはこれを、NvidiaのGPU比で48倍、推論チップ専門のCerebras比で8.5倍高速だと主張している。

Taalasの技術は、現在のAI推論における構造的な非効率性を利用している。標準的なGPUは柔軟性が高く、あらゆるモデルを実行でき、オンデマンドでタスクを切り替えられ、モデル更新時には再プログラムも可能だ。しかし、その柔軟性がボトルネックでもある。推論要求のたびに数十億ものモデル重みを高帯域幅メモリから演算ユニットに読み込むことで、GPUを追加しても解消できないレイテンシが発生する。

Taalasは、製造時にそれらの重みをチップのシリコンに直接埋め込む。モデルはハードウェア上に存在し、リクエストごとにフェッチされるメモリ上にはない。AMDが宣伝するスループット数値はそのアーキテクチャ上の選択を反映しているが、同社はその代償を軽視していない。特定のモデルを組み込んでチップを製造した後、更新するには新たなシリコンテープアウトが必要になる。Taalasによれば、モデルリフレッシュには2つのメタル層のみを変更すればよく、サイクルは短縮されるが、これらのチップは新しいモデルバージョンにその場で適応することはできない。

AMDの統合計画では、Taalasチップが推論の最も時間のかかるフェーズであるトークン生成を担当し、AMDのInstinct GPUが各リクエストの開始時のプリフィルとアテンション計算を処理する。この組み合わせシステムは、AMDのHeliosラックスケールプラットフォーム上で動作する。固定モデルのワークロード（カスタマーサービスボット、ドキュメント処理パイプライン、リアルタイム翻訳）を実行するクラウド事業者にとって、柔軟なGPUクラスターが同等のコストで実現できないラックあたりのワット当たりスループットを約束する。

その計算が業界のモデル更新ペースに耐えられるかどうかが中心的な問いとなる。主要な研究所は現在、約6カ月ごとにプロダクションモデルを更新している。今日Llama 3.1 8Bに固定されたチップは、後継が標準的なデプロイ対象となった時点で退役を余儀なくされるかもしれない。Taalasの2メタル層リフレッシュの主張は助けになるが、シリコンテープアウトには依然として数カ月を要する。モデルがハードウェアサイクルよりも速く入れ替わる中、これは無視できない遅れである。

この買収は、Nvidiaが同じ推論速度問題に対する別のアプローチであるGroqを200億ドルで買収してから7カ月後に行われた。Groqのテンソルストリーミングプロセッサもスループットを最適化するが、異なるモデルをロードする能力は維持している。AMDは、逆の賭けをしたスタートアップに対して、非公開ながらおそらくより少ない金額を支払っている。

買い手にとって、Taalasの買収はカタログ品ではなくロードマップ上のものだ。最大200億パラメータのモデルをターゲットとするHC2チップはまだ開発中である。48倍のベンチマークは特定条件下でのHC1の結果であり、多様なトラフィックとバッチサイズが混在する実環境でのデプロイでは異なる結果が生じる。取引完了は2026年第4四半期を予定しており、規制当局の審査待ちである。HC1は2月に6nmで出荷された。HC2の出荷時期とターゲットプロセスノードは未確認である。

タグ: nvidia, AIチップ, AMD, AI推論, Taalas