NVIDIA 表示，新优化可使本地代理速度提升最多 1.9 倍
llama.cpp 和 vLLM 更新面向 RTX 5090、RTX PRO 6000 以及双 DGX Spark 系统，并通过 LM Studio 和 Ollama 提供支持。
By Ryan Merket · Published
Primary source: NVIDIA RTX Spark on X
为何重要
本地代理会发起重复的推理调用，因此后端的改进可以在无需开发者更换其现有 NVIDIA 硬件的情况下，减少延迟和云端使用量。
NVIDIA 在周五通过 X 的一则帖子 表示，新的 llama.cpp 和 vLLM 优化可以将其 Blackwell 消费类、工作站和台式机 AI 系统上的本地大型语言模型吞吐量提高最多达 1.9 倍。
NVIDIA 基准测试中最大的增益来自在 GeForce RTX 5090 上运行 Qwen3.6-35B 的 llama.cpp，吞吐量达到 NVIDIA 在 Computex 使用的基准的 1.9 倍。Qwen3.6-27B 在该卡上达到相同基准的 1.5 倍。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.