NVIDIA PAIR 将闲置的个人电脑变成本地 AI 推理集群
该开源测试版在不合并其 GPU 显存的情况下，将并行代理请求路由到 Windows、Linux 和 macOS 设备上。
By Ryan Merket · Published
Primary source: NVIDIA RTX Spark on X
为何重要
PAIR 为本地代理提供了一种在多台机器间利用空闲计算资源的实用方式，但其请求级路由无法突破较大模型的单设备内存限制。
NVIDIA 于 9 月 3 日推出 PAIR，一款开源推理路由器，可将本地网络中兼容的计算机连接起来，并将每个 AI 请求发送到具有可用容量的机器。
https://x.com/NVIDIARTXSpark/status/2095580592704217349
…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.