FreeToken reporta 22-25 tok/s para un modelo DeepSeek de 284B en una RTX 5090
Shuo Yang, Xiaoze Fan y colaboradores reportan la tasa de decodificación usando cómputo con CPU, una 32 GB RTX 5090 y 192 GiB de memoria del sistema.
By RuntimeWire Staff · Published
Primary source: Aligned News - AI Intelligence
Por qué importa
Los resultados reportados por FreeToken sugieren que la programación MoE puede mover parte de la inferencia de modelos grandes desde clústeres de GPU hacia PCs de gama alta, aunque el sistema aún depende de recursos sustanciales de CPU y memoria del sistema y sus pruebas comparativas no han sido replicadas de forma independiente.
Shuo Yang y Xiaoze Fan son los autores principales con contribución igual de un nuevo artículo sobre FreeToken, un motor de inferencia de código abierto que agrupa los recursos de CPU, memoria del sistema y GPU para ejecutar modelos Mixture-of-Experts en hardware local.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.