SGLang 发布了单 GPU Qwen3.8-27B 配方，声称每秒 206.1 个标记
Ying Sheng 和 Banghua Zhu 的推理项目新增了 NVFP4 和 DFlash2 配方，项目报告在单块 RTX 5090 上的吞吐量为每秒 206.1 个标记。
By RuntimeWire Staff · Published
Primary source: Qwen / Alibaba
为何重要
当开发者能够在可获得的硬件上部署它们时，开源权重才具有实际价值。SGLang 的单 GPU 配方让 Qwen3.8-27B 更易获取，但其项目发布的速度数据仍需通过独立复现和输出质量检查来验证。
The SGLang 开源推理项目，与 Ying Sheng 关联，已为 Alibaba 的 Qwen3.8-27B 添加了部署示例，为开发者提供了一条在单张 GPU 上使用 NVFP4 量化和 DFlash2 投机解码运行该 270 亿参数模型的文档化路径。
相关支持的传播始于 2026 年 8 月 20 日前后，当时 cookbook 更新和 Qwen 的公告同时出现。此次更新比 Alibaba 发布模型开源权重晚了大约五天，将上线从可下载的参数扩展为开发者可以尝试在 Blackwell 硬件上复现的配置。
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.