Arena lanza AutoEval para clasificar nuevos modelos de IA dentro de una hora
El sistema de modelo de recompensa utiliza millones de preferencias de los usuarios y obtuvo una correlación superior a 0.98 con las clasificaciones en vivo posteriores de Arena.
By Ryan Merket · Published
Primary source: Arena on X
Por qué importa
AutoEval permite a Arena convertir años de votos humanos en clasificaciones de modelos inmediatas, ayudando a los laboratorios a comparar checkpoints mientras preserva la evaluación en vivo como la capa final de validación.
Los cofundadores de Arena Anastasios Angelopoulos (@ml_angelopoulos), Wei-Lin Chiang (@infwinston) y Ion Stoica lanzaron AutoEval el 30 de julio, dándole a los nuevos modelos de IA una Arena Score preliminar antes de que suficiente gente haya votado para producir un ranking en vivo estable.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.