Mercor 将 AI 基准映射到岗位并发现大多数美国工作未被衡量
其新的映射将29个基准与Labor Department的职业关联起来，但Mercor表示覆盖范围估计是暂定的，并取决于其选择规则。
By Ryan Merket · Published · Updated
Primary source: X
为何重要
Mercor 正在使基准差距可度量，同时承认其估计受限于一小规模、经过挑选的测试集。该地图对仅凭基准分数就断言 AI 已准备好胜任真实工作这一说法构成了压力。
Mercor 在 10 月 15 日 发布了一个关于覆盖美国职业的 AI 基准的交互式地图，并报告称其最初的 29 项基准至少覆盖了 923 个职业中的 208 个职业中的一项任务。公司估计，大约 90% 的美国工作时间落在这些基准没有充分覆盖的任务上。Mercor 在 X 上的帖子 指引用户查看其围绕劳动部 O*NET 职业分类构建的研究工具 Benchmark Map。
Mercor 的帖子将读者引向其关于 AI 基准在美国职业中覆盖情况的 Benchmark Map。原始图片来自 @mercor。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.