ARC PrizeがDeepSeek V4 Flashを61.4%で、1タスクあたり$0.04という条件で検証
ARC Prizeの外部評価は、Liang WenfengのオープンウェイトモデルがMaxの努力で61.4%からLowの努力で46.0%へと低下すること、またMaxでは1タスクあたり$0.04のコストがかかることを文書化している。
By Ryan Merket · Published

ARC Prizeの外部評価は、Liang WenfengのオープンウェイトモデルがMaxの努力で61.4%からLowの努力で46.0%へと低下すること、またMaxでは1タスクあたり$0.04のコストがかかることを文書化している。