Baseten lanza un tokenizador en Rust que, según dice, es 18 veces más rápido para Kimi K3
El nuevo paquete de Michael Feil apunta a un cuello de botella de la CPU que crece a medida que los prompts de los agentes se acercan al límite de un millón de tokens de Kimi K3.
By Ryan Merket · Published
Primary source: X
Por qué importa
Las cargas de trabajo de agentes con millones de tokens pueden trasladar la latencia desde la GPU hacia la preparación de prompts. Baseten compite optimizando esa ruta de CPU ignorada y publicando el código para que los ingenieros lo prueben.
Baseten ingeniero de rendimiento de modelos Michael Feil (@feilsystem) dijo en un hilo en X el 27 de julio que había lanzado Baseten Tokenizer, un paquete respaldado en Rust diseñado para reducir el tiempo de CPU requerido para preparar prompts largos para el modelo Kimi K3 de Moonshot AI.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.