RunAnywhere lanza Wally, dice que su inferencia de modelos abiertos supera a la de proveedores más grandes
La empresa YC W26 está ampliando su pila en el dispositivo hacia la inferencia alojada, afirmando 380 tokens por segundo en GLM-5.3 Flash.
By Ryan Merket · Published
Primary source: RunAnywhere on X
Por qué importa
RunAnywhere está transformando un entorno de ejecución en el dispositivo en un negocio de inferencia híbrida, usando agentes de programación para vender capacidad de GPU alojada sin renunciar a la ejecución local.
Sanchit Monga (@sanchitmonga22) y Shubham Malhotra lanzaron Wally el 21 de septiembre, una pila de inferencia para ejecutar modelos abiertos localmente, en la nube de RunAnywhere o en infraestructura controlada por el cliente.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.