Epoch AI audita 15 benchmarks, encuentra nueve defectuosos
El primer lote señala defectos en SWE-bench Verified, Humanity's Last Exam y otras pruebas utilizadas para comparar modelos de frontera.
By RuntimeWire Staff · Published
Primary source: Epoch AI
Por qué importa
Las tablas de clasificación de IA orientan las afirmaciones sobre productos, las decisiones de despliegue y la política. Epoch AI's auditorías muestran que algunas puntuaciones destacadas reflejan evaluadores defectuosos y tareas ambiguas en lugar de la capacidad del modelo.
Epoch AI, el instituto de investigación cofundado y dirigido por Jaime Sevilla (@Jsevillamol), lanzó Benchmark Reviews el 17 de septiembre y clasificó nueve de las primeras 15 versiones de benchmarks revisadas como Defectuosas. Cuatro recibieron la etiqueta Verificado, mientras que Epoch AI no tuvo suficiente información para juzgar las dos restantes.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.