Microsoft publica un benchmark de agentes donde la base de datos tiene el voto final
ThinkingBox verifica 507 flujos de trabajo empresariales simulados contra sus registros finales, con 20 ejecuciones por tarea para mostrar la brecha entre un éxito fortuito y trabajo reproducible.
By Ryan Merket · Published
Primary source: Hugging Face Newsroom
Por qué importa
Las demostraciones de agentes a menudo premian transcripciones convincentes y llamadas a herramientas válidas. ThinkingBox obliga a los equipos a enfrentar la pregunta sobre el despliegue: ¿el agente deja de manera confiable los registros correctos?
Microsoft y Hugging Face lanzaron ThinkingBox el 3 de octubre, un benchmark que califica a los agentes de IA según lo que realmente cambian en los sistemas empresariales. La entrada de Hugging Face, escrita por el científico aplicado de Microsoft Tuhin Kundu, presenta 507 flujos de trabajo simulados y una prueba que ejecuta cada uno 20 veces. Los resultados muestran con qué frecuencia un agente que parece plausible deja atrás el registro equivocado.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.