Mercorは、米国の労働時間の90%がAIベンチマークでカバーされていないと推定している。
Brendan Foodyの会社は29のベンチマークをLabor Departmentの職務タスクにマッピングし、そのギャップを明らかにした。これがMercorのAI評価への進出を後押ししている。
By Ryan Merket · Published · Updated
Primary source: Mercor
なぜ重要なのか
そのマップはベンチマークのカバレッジをタスクレベルで可視化する一方で、その限界は、モデルのスコアだけでは業務全体に対する準備状況を判断できないことを示している。Mercorがそのギャップを測定しようとする取り組みは、同社のエキスパートデータおよび評価事業も支えている。
Brendan Foody は、人と仕事をマッチさせることを中心にしてMercor を構築しました。Mercor の「米国の労働時間の90%」という見積もり は、AIベンチマークのカバレッジがほとんどない、あるいはまったくないタスクに労働時間の大部分が割かれているとするものであり、そのビジネスの中心に計測の問題を据えています：AIシステムが評価されている仕事は、依然として人々が行う仕事のごく狭い一部を表しているにすぎません。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.