LightSeek 报告在 Qwen 上使用四个 GB300s 时每秒 685 个标记。

LightSeek 表示，TokenSpeed 在四块 NVIDIA GB300 GPUs 上使用 NVFP4 产生了每位用户的结果，但尚未披露提示长度、并发度或其他基准测试条件。

By · Published · Updated

Primary source: Qwen / Alibaba

为何重要

TokenSpeed 的结果将一个开源在线推理引擎带入了围绕 Qwen 部署的讨论之中，但未披露的测试设置限制了运营者能从每秒 685 个标记中推断出的信息。

AI-generated illustration of a large industrial fan beside rows of server racks, with bundled cables running across the floor and blue lights glowing at their ends.

LightSeek Foundation 报告称，其 TokenSpeed inference engine 在四块 NVIDIA GB300 GPU 上以 NVFP4 运行时，对 Alibaba 的 Qwen3.8-Flash-Next 每位用户每秒生成 685 个输出令牌（tokens），据 该基金会的帖子 所述。Qwen 在 10 月 14 日通过 一则祝贺帖 放大了这一结果。该数字为一个更大的工程押注提供了新的量化：使开源模型服务在面对编程代理和其他 AI 工具的长期、反复请求时足够快。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.