Unsloth 将 DeepSeek 的 552B 模型压缩至 250GB 的本地下载
1-bit GGUF 需要至少128GB内存，而 Unsloth 的 88.2% 数值衡量的是在一个测试集上的 token 一致性，而不是通用基准的准确率。
By Ryan Merket · Published · Updated
Primary source: X
为何重要
开发者可以在本地运行 DeepSeek 的最新快照，而无需将提示发送到其 API，但250GB的下载量和超过128GB的内存要求将本地使用限制在高端系统上。
Unsloth AI 在10月19日发布了 DeepSeek 的 V4.1-Flash-1017 的 1-bit GGUF 版本，称其可以在至少 128GB 内存的系统上本地运行。根据 Unsloth 的指南，其列出的最小构建为 250.4GB，而 8-bit 版本为 508.4GB。
该下载延续了 Unsloth 联合创始人 Daniel Han 的工作；据 Y Combinator 的公司简介 所述，Han 此前在 NVIDIA 的工作包括机器学习算法优化。Han 与其兄弟 Michael 于 2023 年创立了 Unsloth。公司以其使大型模型训练和微调需求降低的软件建立了声誉；此次发布将其优化工作应用于在提供商的托管服务之外运行大型模型。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.