OpenRelay 推出一个在 GPUs、TPUs 和 Trainium 上通用的推理 API
OpenRelay 表示，其网络在 22 个地点每周处理 1000 亿个令牌，并按成本、延迟和可用性对作业进行路由。
By Ryan Merket · Published
Primary source: Y Combinator
为何重要
OpenRelay 正在押注 AI 加速器将成为可互换的供应来源。可靠的路由可以减少对云服务的锁定，同时为硬件所有者的闲置算力提供一个市场。
早在八月早些时候，Jaden Wang 和 Prashant Patel 推出了 OpenRelay，这是一个与硬件无关的推理网络，通过单一端点在来自 Nvidia、AMD、Google 和 Amazon 的加速器之间路由 AI 工作负载。
这家两人团队、总部位于西雅图的公司是 Y Combinator 2026 年夏季批次的一部分。在其YC 发布文章中，OpenRelay 表示该网络在北美、欧洲、亚太和中东的 22 个物理地点使用八种加速器配置，每周处理 1000 亿个 token。上述运营数据为自报数据。
OpenRelay 的主张很直接：开发者将模型或容器发送到 OpenRelay，指定延迟和吞吐量需求，然后让其调度器选择云、区域和芯片。OpenRelay 表示，该调度器会持续基准测试可用容量，并将每个工作负载路由到满足所请求性能目标且成本最低的加速器。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.