Bartowski publica un conjunto de datos imatrix para el lado feo de la cuantización de modelos
El corpus público apunta a plantillas de chat y al uso de herramientas; sin imatrix, Qwen3.6-35B-A3B cayó aproximadamente 28 puntos BFCL en Q2_K.
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
Por qué importa
Los modelos abiertos llegan al hardware local mediante cuantización. La receta pública de Kealty muestra que la calibración puede preservar el uso de herramientas con una precisión muy baja, donde un corpus incorrecto conlleva un costo medible.
Colin Kealty (@bartowski1182), el cuantizador de modelos conocido en línea como Bartowski, publicó un nuevo corpus de calibración el 17 de agosto para personas que comprimen modelos de lenguaje con pesos abiertos en archivos GGUF más pequeños. Su Artículo de la comunidad de Hugging Face hace una afirmación comedida: el nuevo material puede ayudar en niveles de compresión agresivos, mientras Kealty dice que el conjunto de datos V5 ya era bastante competitivo.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.