Sherpa Labs lanza benchmarks de IA diseñados en torno a acuerdos financieros y código de producción
El fundador Justin Jiang dice que los benchmarks revelan brechas en el trabajo con horizonte a largo plazo; la prueba financiera registró una tasa de aprobación general del 3,6% en 3.750 ejecuciones.
By Ryan Merket · Published · Updated
Primary source: X
Por qué importa
Sherpa Labs está vendiendo la infraestructura para entrenar y medir agentes en flujos de trabajo profesionales, donde una respuesta plausible aún puede fallar cuando las fórmulas, los archivos o los cambios en el software no se integran entre sí. Sus puntuaciones iniciales ilustran la brecha que la compañía espera que los laboratorios le paguen para cerrarla.
El 20 de octubre, Justin Jiang (@jostinjiang) presentó los benchmarks de finanzas y codificación de Sherpa Labs para agentes de IA, pruebas construidas en torno a completar trabajo profesional en lugar de responder preguntas aisladas. Jiang dice que la compañía está construyendo entornos de aprendizaje por refuerzo para finanzas, codificación e investigación cuantitativa, con los dos primeros benchmarks reportando bajas tasas de aprobación en tareas extraídas de trabajo de acuerdos de private equity y de un repositorio de software en producción.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.