Investigadores de UCSB y LinkedIn entrenan agentes de IA para predecir sus propias llamadas a herramientas
El enfoque aumentó la precisión de coincidencia exacta en cinco benchmarks al reutilizar un modelo y su caché KV, aunque las mejoras de latencia en el mundo real siguen sin demostrarse.
By Ryan Merket · Published
Primary source: arXiv
Por qué importa
La latencia de las herramientas impide que los agentes multi-paso se sientan interactivos. La autoespeculación podría ocultar parte de esa espera sin invocar un segundo modelo, pero las ganancias en producción dependerán de las tasas de coincidencia exacta, los costos de la API y las salvaguardas para acciones que cambian el estado.
Jiabao Ji, Yujian Liu and Li An, tres investigadores de UC Santa Barbara que trabajaban como pasantes en LinkedIn, entrenaron agentes de IA para predecir y preejecutar sus propias llamadas a herramientas siguientes, un intento de eliminar una creciente fuente de demora en sistemas que dependen de motores de búsqueda, bases de datos y APIs externas.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.