FINAL-Bench encuentra una brecha de 0.21 AUROC entre particiones temporales y aleatorias
La nueva tabla de clasificación de VIDRAFT utiliza etiquetas ocultas, conjuntos de prueba más difíciles y umbrales de ruido de los ensayos para que las puntuaciones de predicción de fármacos sean menos halagadoras y más útiles.
By RuntimeWire Staff · Published
Primary source: Hugging Face Community
Por qué importa
Las ganancias en la predicción de fármacos pueden desaparecer cuando los conjuntos de prueba se parecen a los datos de entrenamiento o el ruido de los ensayos supera la diferencia en las puntuaciones. FINAL-Bench hace visibles ambos problemas antes de declarar un ganador.
VIDRAFT CEO Min-sik Kim ha publicado FINAL-Bench's LEADBOARD, una prueba de 21 tableros para herramientas de predicción de propiedades de fármacos construida alrededor de un resultado que sorprendió al proyecto: cambiar cómo se dividían los datos movió el mismo modelo de referencia de 0.606 a 0.818 AUROC. FINAL-Bench's Hugging Face announcement documenta la comparación.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.