LightSeek reporta 685 tokens por segundo en Qwen con cuatro GB300s
LightSeek dice que TokenSpeed produjo el resultado por usuario en cuatro GPUs NVIDIA GB300 usando NVFP4, pero no ha divulgado la longitud del prompt, la concurrencia ni otras condiciones del benchmark.
By RuntimeWire Staff · Published · Updated
Primary source: Qwen / Alibaba
Por qué importa
El resultado de TokenSpeed coloca a un motor de servicio de código abierto en la conversación sobre el despliegue de Qwen, mientras que la configuración de prueba no revelada limita lo que los operadores pueden inferir a partir de 685 tokens por segundo.
LightSeek Foundation reportó que su motor de inferencia TokenSpeed generó 685 tokens de salida por segundo por usuario con el Qwen3.8-Flash-Next de Alibaba, ejecutándose en cuatro GPUs NVIDIA GB300 con NVFP4, según la publicación de la Foundation.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.