El método de poda de Multiverse Computing supera a una línea base por casi 23 puntos MMLU
El método busca combinaciones de eliminación de bloques que interactúan entre sí en lugar de clasificar capas una por una, y sus mayores ganancias se observan bajo una compresión severa.
By RuntimeWire Staff · Published
Primary source: Hugging Face
Por qué importa
Si los resultados se mantienen en evaluaciones independientes, los desarrolladores de modelos obtendrán una forma más económica de buscar configuraciones de poda agresiva, mientras que Multiverse Computing obtendrá un puente desde la optimización cuántica hacia un gran mercado de IA inmediato.
Roman Orus, el físico de información cuántica que cofundó Multiverse Computing, y un equipo de investigadores han reformulado una de las formas más contundentes de reducir un modelo de lenguaje grande como un problema de física estadística. En una exposición técnica publicada en Hugging Face el 21 de septiembre, los investigadores describieron un método para escoger bloques completos de transformador para eliminar…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.