Bartowski 发布了用于模型量化棘手问题的 imatrix 数据集
公共语料库以聊天模板和工具使用为目标；在没有 imatrix 的情况下，Qwen3.6-35B-A3B 在 Q2_K 上下降了约 28 个 BFCL 点。
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
为何重要
通过量化，开放模型能够被部署到本地硬件上。Kealty 的公开方法表明，校准可以在非常低的精度下保留对工具的使用能力；在这种情况下，错误的语料会带来可测量的代价。
Colin Kealty (@bartowski1182), 在线上以 Bartowski 为人所知的模型量化工程师，于 8 月 17 日 发布了一个新的校准语料库，供那些将开源权重语言模型压缩为更小 GGUF 文件的人使用。他的 Hugging Face 社区文章 做出了谨慎的断言：在激进压缩水平下，新资料可以提供帮助，同时 Kealty 表示 V5 数据集已经相当具有竞争力。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.