Archsloth corrige dos flags de AutoRound, dice que Qwen3-4B se desvía menos
El proyecto informa una divergencia KL entre 20.9% y 54.4% menor con el mismo tamaño de 2.50 GB, siendo el texto de calibración el que hace más trabajo que la asignación de bits.
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
Por qué importa
Los distribuidores de modelos locales pueden enviar archivos con el mismo tamaño y formato que conservan un comportamiento materialmente diferente. Las recetas de cuantización y los datos de calibración merecen el mismo escrutinio que los pesos del modelo y las pruebas de referencia.
Los colaboradores detrás de Archsloth publicaron una corrección el 14 de septiembre a un flujo de trabajo de cuantización que habían usado durante meses, diciendo que dos ajustes cambiados de AutoRound produjeron una versión de Qwen3-4B de Alibaba que se mantuvo más cercana al modelo original sin añadir ni un solo byte.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.