OpenRelay lanza una única API de inferencia para GPUs, TPUs y Trainium
OpenRelay dice que su red maneja 100 mil millones de tokens semanalmente en 22 ubicaciones mientras enruta los trabajos según costo, latencia y disponibilidad.
By Ryan Merket · Published
Primary source: Y Combinator
Por qué importa
OpenRelay apuesta a que los aceleradores de IA se conviertan en un suministro intercambiable. Un enrutamiento confiable podría reducir la dependencia de la nube, al mismo tiempo que ofrece a los propietarios de hardware un mercado para la capacidad no utilizada.
A principios de agosto, Jaden Wang y Prashant Patel lanzaron OpenRelay, una red de inferencia agnóstica al hardware que enruta cargas de trabajo de IA a través de aceleradores de Nvidia, AMD, Google y Amazon mediante un único endpoint.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.