RadixArk 帮助将 SGLang 带到 Google TPUs，同时 Meta 在生产环境中运行它

Google 表示它与 Meta 的 PyTorch 团队共同开发了 TorchTPU；RadixArk 与 Google 和 Meta 在 SGLang-TorchTPU 上合作，Meta 表示该项目已投入生产。

By · Published

Primary source: Google Developers Blog

为何重要

Google 的 TPU 对 Nvidia 的挑战在软件上的重要性与在硅片上的重要性同样大。Meta 的部署把 Google 的 PyTorch 原生方法投入到了一个主要 PyTorch 团队的生产环境中。

A Google-branded data center with cooling pipes and a lit compute room depicts Meta’s SGLang running on Google TPU infrastructure.

Meta 在 10 月 20 日表示正在生产环境中运行 SGLang-TorchTPU，将 Google's 定制 AI 芯片投入到一家重要的 PyTorch 团队的使用中。由 Ying Sheng 共同创立的初创公司 RadixArk 与 Google 和 Meta 合作开发了该引擎。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.