llama.cpp añade una API de decisión tipada para cinco modelos abiertos especializados
El cambio de Xuan-Son Nguyen aporta salidas de tipo sí/no, de clasificación y de puntuación a llama-server, con compilaciones de desarrollo disponibles antes del esperado lanzamiento v0.6.0.
By RuntimeWire Staff · Published · Updated
Primary source: Aligned News - AI Intelligence
Por qué importa
Una API local para decisiones tipadas permite al software usar modelos abiertos especializados para enrutamiento, clasificación y puntuación. Su valor depende de la cobertura de los modelos y de si las probabilidades devueltas se mantienen frente a cargas de trabajo reales.
llama.cpp, el runtime de inferencia de código abierto asociado con Georgi Gerganov (@ggerganov), fusionó una API local de decisiones tipadas el 2 de octubre. Gerganov anunció el endpoint en X; el cambio, escrito por Xuan-Son Nguyen, añade un endpoint /v1/systemone para cinco familias de modelos.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.