AI

Nvidia PAIRが自宅のGPUを束ねてAIエージェントを2倍高速化—無料で

Susan Hill

Nvidiaが提供する新たな無料ツール「PAIR(Personal AI Router)」は、ホームネットワーク上の複数のコンピュータにAIエージェントのタスクを振り分け、ゲーミングPC、ワークステーション、さらにはMacの集合体をあたかも単一の推論クラスタのように扱う。その発想は極めてシンプルだ。AI処理に特化したマシンの多くはほとんどの時間アイドル状態にあり、ローカルAIのワークロードは、数十もの独立したサブタスクを同時に生成するエージェントを中心に構成されつつある。PAIRはその余剰サイクルを結びつける。

このソフトウェアは、最も普及しているローカル推論ツールであるOllamaとLM Studioの上位で透過的プロキシとして動作するため、既存の環境にコードの変更は一切不要だ。各マシンにインストールされると、PAIRはmDNS(プリンタがネットワーク上で自動検出される際に使われるのと同じプロトコル)を用いて、互換性のあるデバイスを自動的に発見する。リードエージェントが通常通り処理を依頼すると、PAIRは各マシンが利用可能なモデルに基づいて、どのサブタスクをどのマシンが担当するかを決定する。マシン間で同一の設定は不要で、Llama 3.3を搭載したゲーミングPCとMistralを搭載したノートPCが同じジョブで協調動作できる。

Nvidiaが公開したベンチマークはその差を具体的に示している。5つのサブエージェントからなるタスクが、単一のRTX SparkノートPCでは18分かかったのに対し、3台のデバイスからなるクラスタでは8分48秒で完了した。これは、コードに一切手を加えず、クラウドコンピューティングに費用を払うことなく、約2倍の高速化を達成したことになる。その効果はマシンの台数とワークロードの性質に応じて拡大し、多くの並列処理に分割できるタスクほど恩恵が大きい。

もう一つの売りはプライバシーであり、こちらの方がより永続的な価値を持つ。すべてのプロンプト、ファイル、エージェントのコンテキストは自宅のネットワーク上に留まる。クラウドの推論サービスにルーティングされるものは何もなく、APIキーも使用量の計測も、クエリを受け取る企業も存在しない。機密性の高い文書——法律の草案、医療記録、個人の書簡——を扱うエージェントを運用している者にとって、この違いはベンチマークの数値以上に重要である。

もちろん、注意点も現実にある。PAIRはサービス品質を保証しない。依存していたマシンがゲームやビデオエクスポートのためにGPUを起動した場合、PAIRはそのワークロードを他の利用可能なマシンに再配分する。このツールは、レイテンシが予測可能でなければならないアプリケーションではなく、期限が柔軟な長時間実行タスク向けに設計されている。また、ベータ版のソフトウェアである。Nvidiaは、少なくとも1台の互換性のあるマシン(GeForce RTX 20シリーズ以降、またはApple M4シリーズのシリコン)を所有し、かつOllamaの扱いにすでに習熟しているであろう愛好家を対象に、このツールを提案している。

PAIRは無料でオープンソースであり、現在ベータ版としてWindows、macOS、Linuxで利用可能である。NvidiaはQoS保証や安定版リリース日に関するロードマップを発表していない。恩恵を受けるための実用的な最低条件は、高性能なハードウェアを搭載した2台のマシンであり、ほとんどのシングルマシン環境は対象外となる。すでに自宅で複数のデバイス上でOllamaを運用しているユーザーにとって、導入のハードルは実験を試すに足るほど低い。

タグ: , , , , ,

ディスカッション

0件のコメントがあります。