NVIDIA dice que las nuevas optimizaciones hacen que los agentes locales sean hasta 1.9x más rápidos
Las actualizaciones de llama.cpp y vLLM están dirigidas a los sistemas RTX 5090, RTX PRO 6000 y DGX Spark duales, con soporte a través de LM Studio y Ollama.
By Ryan Merket · Published
Primary source: NVIDIA RTX Spark on X
Por qué importa
Los agentes locales realizan llamadas de inferencia repetidas, por lo que las mejoras en el backend pueden reducir la latencia y el uso de la nube sin que los desarrolladores tengan que reemplazar su hardware NVIDIA existente.
NVIDIA dijo el viernes en una publicación en X que nuevas optimizaciones de llama.cpp y vLLM pueden aumentar el rendimiento local de modelos de lenguaje grande en hasta 1.9x en sus sistemas de IA Blackwell para consumo, estaciones de trabajo y escritorios.
La mayor ganancia en el benchmark de NVIDIA provino de llama.cpp ejecutando Qwen3.6-35B en una GeForce RTX 5090, donde el rendimiento alcanzó 1.9x la línea base que NVIDIA usó en Computex. Qwen3.6-27B alcanzó 1.5x la misma línea base en la tarjeta.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.