SGLang publica recetas de Qwen3.8-27B para una GPU, afirma 206.1 tokens por segundo
El proyecto de inferencia de Ying Sheng y Banghua Zhu añadió recetas NVFP4 y DFlash2, con un rendimiento reportado por el proyecto de 206.1 tokens por segundo en una RTX 5090.
By RuntimeWire Staff · Published
Primary source: Qwen / Alibaba
Por qué importa
Los pesos abiertos adquieren valor práctico cuando los desarrolladores pueden servirlos en hardware accesible. Las recetas de GPU única de SGLang hacen que Qwen3.8-27B sea más accesible, aunque las cifras de velocidad publicadas por el proyecto aún requieren replicación independiente y verificaciones de la calidad de la salida.
El proyecto de inferencia de código abierto SGLang, asociado con Ying Sheng, ha agregado recetas de despliegue para Qwen3.8-27B de Alibaba, ofreciendo a los desarrolladores una ruta documentada para ejecutar el modelo de 27 mil millones de parámetros con cuantización NVFP4 y decodificación especulativa DFlash2 en una sola GPU.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.