DwarfStar comprime modelos de vanguardia para ejecutarlos en máquinas locales
DwarfStar's ds4 es un motor en C con licencia MIT para modelos seleccionados en Macs de alta memoria y en sistemas CUDA y ROCm, creado por Salvatore Sanfilippo, creador de Redis.
By Ryan Merket · Published
Primary source: DwarfStar
Por qué importa
DwarfStar demuestra cómo la ingeniería específica del modelo puede ejecutar localmente modelos seleccionados con pesos abiertos, mientras que sus requisitos de memoria limitan quién puede usarlo. Sanfilippo sostiene que los agentes de codificación podrían ayudar a los usuarios a adaptar proyectos de código abierto a configuraciones que sus creadores no pueden soportar directamente.
Salvatore Sanfilippo, quien creó Redis, construyó DwarfStar alrededor de una restricción que la mayoría del software de IA local intenta evitar: soportar menos modelos y luego afinar toda la pila para ellos. El motor de código abierto resultante, ds4, comprime modelos grandes seleccionados para ejecutarse en Macs de alta memoria y sistemas con GPU, con una interfaz de línea de comandos, APIs locales y un agente de programación.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.