Mercor mapea puntos de referencia de IA a empleos y encuentra que la mayor parte del trabajo en EE. UU. no está medido
Su nuevo mapa vincula 29 puntos de referencia con ocupaciones del Departamento de Trabajo, pero Mercor dice que la estimación de cobertura es provisional y depende de sus reglas de selección.
By Ryan Merket · Published · Updated
Primary source: X
Por qué importa
Mercor está haciendo medible la brecha de los benchmarks, a la vez que reconoce que su estimación está conformada por un conjunto pequeño y selecto de pruebas. El mapa pone en entredicho las afirmaciones de que las puntuaciones de los benchmarks por sí solas describen la preparación de la IA para trabajos reales.
Mercor publicó un mapa interactivo de la cobertura de benchmarks de IA a través de las ocupaciones de EE. UU. el 15 de octubre, reportando que su conjunto inicial de 29 benchmarks cubre al menos una tarea en 208 de 923 ocupaciones. La compañía estima que aproximadamente el 90% de las horas laborales en EE. UU. recaen en tareas sin cobertura adecuada en esos benchmarks.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.