Ollaya ejecuta modelos de decisión abiertos localmente detrás de una API compatible con Jev
El mantenedor Mert Cobanov empaqueta modelos de decisión abiertos detrás de una API compatible con TypeSafe, con afirmaciones sobre velocidad y calibración que aún necesitan una prueba de igual a igual.
By RuntimeWire Staff · Published
Primary source: Ollaya
Por qué importa
Ollaya convierte modelos de decisión abiertos en un servicio desplegable localmente y compatible con TypeSafe. Sus resultados reportados de latencia y calibración son prometedores, pero la comparación publicada no es de igual a igual, dejando a los desarrolladores la tarea de validar la calidad con sus propias cargas de trabajo.
Mert Cobanov está construyendo Ollaya alrededor de una propuesta estrecha: el software a menudo necesita una decisión confiable de la IA, no otro párrafo de texto generado. El runtime de código abierto ejecuta modelos de decisión en la propia máquina del desarrollador y expone una API compatible con el servicio Jev de TypeSafe, ofreciendo a los equipos una opción local para clasificar, enrutar y puntuar texto o JSON.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.