Bartowski convierte las heurísticas de cuantización GGUF en mapas por tensor
El ingeniero de Red Hat dice que más de 1,000 pruebas encontraron que los embeddings y varios tensores de atención merecen una mayor parte del presupuesto de bits.
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
Por qué importa
Los archivos GGUF hacen que los modelos abiertos sean prácticos en hardware local. Una mejor asignación de bits podría conservar más del comportamiento del modelo con el mismo límite de memoria, aunque todavía se necesitan amplios benchmarks independientes.
Bartowski publicó un método tensor por tensor para asignar precisión dentro de archivos de modelo GGUF el 10 de septiembre, reemplazando reglas generales de años de antigüedad en su canalización de cuantización con mapas derivados de sensibilidad medida.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.