RadixArkが、Metaが本番環境で運用しているSGLangをGoogle TPUsに対応させる支援を行う
Google は Meta の PyTorch チームと共同で TorchTPU を開発したと述べている。RadixArk は Google と Meta と共に SGLang-TorchTPU に取り組んだ、これは Meta によると本番稼働中だ。
By RuntimeWire Staff · Published
Primary source: Google Developers Blog
なぜ重要なのか
GoogleのTPUによるNvidiaへの挑戦は、シリコンと同じくらいソフトウェアに依存している。Metaの展開により、GoogleのPyTorchネイティブなアプローチが主要なPyTorchの現場で本番運用に入った。
Metaは10月20日に、主要なPyTorch導入企業において SGLang-TorchTPU を本番運用しており、GoogleのカスタムAIチップを稼働させていると発表した。RadixArk（共同設立者のYing Shengが率いるスタートアップ）は、このエンジンでGoogleおよびMetaと協業した。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.