FINAL-Bench 发现时间切分与随机切分之间存在 0.21 的 AUROC 差距
VIDRAFT 的新排行榜使用隐藏标签、更难的测试集和测定噪声下限，使药物预测得分不那么光鲜，但更有用。
By RuntimeWire Staff · Published
Primary source: Hugging Face Community
为何重要
当测试集与训练数据相似，或者测定噪声超过得分差距时，药物预测的性能提升可能会消失。FINAL-Bench 在宣布赢家之前使这两个问题变得可见。
VIDRAFT CEO Min-sik Kim 已经发布了 FINAL-Bench's LEADBOARD，这是一个包含 21 个排行榜的药物性质预测工具测试，基于一个令该项目惊讶的结果构建：改变数据划分方式使同一个基线模型的 AUROC 从 0.606 上升到 0.818。FINAL-Bench 的 Hugging Face 公告 记录了该比较。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.