llm-d 1.0 为分布式 AI 推理增加生产控制
IBM 表示，由 CNCF 管理的该项目现在支持多租户的服务质量、故障转移和滚动升级，这建立在 Carlos Costa 推动将 AI 服务云原生化的努力之上。
By RuntimeWire Staff · Published
Primary source: IBM Newsroom
为何重要
推理基础设施决定了组织是否能够在大规模下以可靠且经济的方式运行 AI 服务。llm-d 的 1.0 版本面向从成功演示到可靠服务之间的生产运维环节，但其关于成本和吞吐量的宣称仍然依赖于公司报告的特定测试。
Carlos Costa 在大型超级计算机领域工作多年，随后参与创建了 llm-d，将云原生方法引入大规模 AI 模型服务问题的解决。该项目在 10 月 20 日达到 1.0 发布，增加了在部署后运行分布式推理的运维控制，包括多租户流量优先级、路由器故障转移和滚动升级。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.