NVIDIAは、新しい最適化によりローカルエージェントが最大1.9倍高速になると述べている。
llama.cpp と vLLM のアップデートは、RTX 5090、RTX PRO 6000、およびデュアル DGX Spark システムを対象としており、LM Studio と Ollama を通じてサポートされます。
By Ryan Merket · Published
Primary source: NVIDIA RTX Spark on X
なぜ重要なのか
ローカルエージェントは推論呼び出しを繰り返し行うため、バックエンドの改善によりレイテンシとクラウド使用量を削減でき、開発者が既存のNVIDIAハードウェアを置き換える必要はない。
NVIDIA said Friday in a post on X that new llama.cpp and vLLM optimizations can raise local large-language-model throughput by as much as 1.9x across its Blackwell consumer, workstation and desktop AI systems.
NVIDIAは金曜日にXへの投稿で、新しい llama.cpp と vLLM の最適化により、Blackwell のコンシューマ、ワークステーション、デスクトップ向けAIシステム全体でローカル大規模言語モデルのスループットが最大1.9倍に向上すると述べた。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.