NVIDIA PAIR convierte PCs de repuesto en un clúster local de inferencia de IA
La versión beta de código abierto enruta solicitudes paralelas de agentes a través de dispositivos Windows, Linux y macOS sin agrupar su memoria GPU.
By Ryan Merket · Published
Primary source: NVIDIA RTX Spark on X
Por qué importa
PAIR ofrece a los agentes locales una forma práctica de usar capacidad de cómputo ociosa a través de varias máquinas, pero su enrutamiento a nivel de solicitud no puede superar los límites de memoria por dispositivo para modelos más grandes.
NVIDIA lanzó PAIR el 3 de septiembre, un enrutador de inferencia de código abierto que conecta computadoras compatibles en una red local y envía cada solicitud de IA a una máquina con capacidad disponible.
https://x.com/NVIDIARTXSpark/status/2095580592704217349
…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.