NVIDIA 的本地 GLM 检查点需要两块 GPU 才能运行
于10月5日发布，Z.ai 的 GLM-5.3-Flash 的 FP4 版本使用约 166 GiB 的显存；Qwen 的对应版本在磁盘上占用约 96 GiB。
By Ryan Merket · Published · Updated
Primary source: X
为何重要
NVIDIA 的 Qwen 检查点已在单个 DGX Spark 或带有卸载功能的 RTX PRO 6000 Blackwell GPU 上得到验证，而 GLM 列出的配置则需要两块 GPU 或两个 DGX Spark 系统。本地推理仍然可能需要多 GPU 或多系统的设置。
NVIDIA 的 FP4-Local 版本的 Z.ai 的 GLM-5.3-Flash 在 NVIDIA 已验证的配置中需要两块 RTX PRO 6000 Blackwell GPU 或两个 DGX Spark 系统。该检查点于 10 月 5 日上线；NVIDIA RTX Spark 的 10 月 20 日帖子 将其与更小的 Qwen 检查点一并宣传，作为在本地运行大型模型的一种方式。
NVIDIA 的 GLM 模型卡 表示量化后的模型大约使用 166 GiB 的显存。NVIDIA 列出了两块 RTX PRO 6000 Blackwell GPU 或两个 128 GB DGX Spark 作为已验证的设置。尽管单个 DGX Spark 具有 128 GB 的统一内存，但该模型的已列配置中并不包含单个 DGX Spark。这里的 “本地” 是指在开发者可控制的硬件上运行推理，即便该设置跨越多台系统；该模型无法放入单台桌面系统。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.