OpenRelay、GPU、TPU、Trainiumに対応する単一の推論APIを発表
OpenRelayは、同社のネットワークが22拠点で週に1000億トークンを処理しており、ジョブをコスト、レイテンシ、可用性に基づいてルーティングしていると述べた。
By Ryan Merket · Published
Primary source: Y Combinator
なぜ重要なのか
OpenRelayは、AIアクセラレータが相互に置き換え可能な供給になると見込んでいる。信頼性の高いルーティングは、クラウドロックインを軽減し、ハードウェア所有者に未使用の容量の市場を提供する可能性がある。
8月初旬、Jaden Wang と Prashant Patel は、Nvidia、AMD、Google、Amazon のアクセラレータにまたがる AI ワークロードを単一のエンドポイント経由でルーティングするハードウェアに依存しない推論ネットワーク、OpenRelay を立ち上げた。
シアトル拠点の2人組の同社は Y Combinator の Summer 2026 バッチの一員だ。OpenRelay は YCのローンチ投稿 の中で、ネットワークが北米、ヨーロッパ、アジア太平洋、中東の22の物理的ロケーションで8つのアクセラレータ構成を用い、毎週1,000億トークンを処理していると述べている。これらの稼働数値は自己申告である。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.