Investigadores de Together AI presentan agentes que trasladan el razonamiento fuera del texto
El equipo reporta un menor uso de tokens y una inferencia más rápida en 11 benchmarks, mientras que sus ahorros en costos siguen siendo estimaciones que excluyen el procesamiento de prompts y las llamadas a herramientas.
By Ryan Merket · Published · Updated
Primary source: arXiv
Por qué importa
HybridAgent prueba si los agentes pueden mantener el acceso a herramientas mientras trasladan parte del razonamiento fuera de la generación de texto token por token. Sus estimaciones de costos excluyen el procesamiento de prompts y las herramientas externas, por lo que no establecen la economía de producción.
Investigadores de Together AI dirigidos por Jiaru Zou publicaron HybridAgent, un sistema que permite a agentes basados en modelos de lenguaje razonar en un espacio latente continuo y regresar al texto cuando necesitan usar herramientas o entregar una respuesta. En un artículo presentado en arXiv el 13 de octubre, los autores reportan menos tokens de texto y una inferencia más rápida que sus baselines probados en 11 benchmarks. Los resultados son de los propios autores, no una evaluación independiente de producción.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.