Sherpa Labs 推出以金融交易和生产代码为核心的 AI 基准测试
创始人 Justin Jiang 表示，这些基准测试揭示了长时程工作中的不足；金融测试在 3,750 次运行中总体通过率为 3.6%。
By Ryan Merket · Published · Updated
Primary source: X
为何重要
Sherpa Labs 正在出售用于在专业工作流程上训练和评估代理的基础设施——在这些工作流程中，即便答案看起来合理，当公式、文件或软件更改未能相互协调时，答案仍可能失败。它早期的分数说明了该公司希望各实验室会付钱来弥合的差距。
2025年10月20日，Justin Jiang (@jostinjiang) 介绍了 Sherpa Labs 面向 AI 代理的金融和编码基准测试，这些测试围绕完成专业工作而不是回答孤立问题构建。Jiang 表示公司正在为金融、编码和量化研究构建强化学习 环境，前两个基准在抽取自私募股权交易工作和生产软件存储库的任务上报告了较低的通过率。在 X 上的四帖串 链接到了基准结果和 Sherpa 的招聘页面。
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.