Baseten 推出了一个它声称在 Kimi K3 上快 18 倍的 Rust 分词器
Michael Feil 的新软件包旨在解决随着代理提示接近 Kimi K3 的一百万令牌限制而日益加剧的 CPU 瓶颈。
By Ryan Merket · Published
Primary source: X
为何重要
百万 token 的 agent 工作负载可能会将延迟从 GPU 转移到提示准备阶段。Baseten 正通过优化那个被忽视的 CPU 路径并发布代码供工程师测试来参与竞争。
Baseten 的模型性能工程师 Michael Feil (@feilsystem) 在 7 月 27 日 于 X 的一条推文线程中 表示，他发布了 Baseten Tokenizer，这是一个以 Rust 为后端的包，旨在减少为 Moonshot AI 的 Kimi K3 模型准备长提示所需的 CPU 时间。
该包名为 basetenkenizer，在 Baseten 发布其结果时可通过 PyPI 以及 Hugging Face 上的 Kimi K3 tokenizer repository 获取。PyPI 将 Feil 列为经过验证的维护者，并显示版本 0.2.8 于 7 月 27 日上传，此前在 7 月 26 日已有两次发布。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.