Liquid AI entrena puntos de control LFM2.5 de 4 bits para conservar aproximadamente el 97% del rendimiento BF16
La empresa derivada del MIT utilizó destilación consciente de la cuantización en cuatro modelos LFM2.5 y luego los probó en un teléfono, una laptop, una mini PC y una Raspberry Pi.
By RuntimeWire Staff · Published
Primary source: Hugging Face
Por qué importa
Edge AI depende del checkpoint comprimido que los desarrolladores puedan desplegar realmente. Liquid AI está entrenando directamente para esa restricción, mientras que sus propias cifras muestran por qué las afirmaciones de precisión redondeada necesitan escrutinio.
Ramin Hasani (@ramin_m_h) y sus cofundadores en Liquid AI publicaron cuatro puntos de control actualizados de LFM2.5 el 19 de agosto, entrenando los modelos para despliegue en 4 bits en lugar de dejar la compresión como un paso final que los desarrolladores tengan que aceptar con su habitual pérdida de calidad.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.