Sherpa Labsが、金融取引と本番コードを中心に構築されたAIベンチマークを発表
創業者のJustin Jiangは、これらのベンチマークが長期的な取り組みにおけるギャップを露呈していると述べている。ファイナンスのテストでは、3,750回の試行で総合合格率が3.6%だった。
By Ryan Merket · Published · Updated
Primary source: X
なぜ重要なのか
Sherpa Labsは、業務上のワークフローにおけるエージェントを訓練し評価するためのインフラを販売している。そこでは、数式やファイル、ソフトウェアの変更が連動しないと、もっともらしい答えでも失敗することがある。同社の初期スコアは、同社が研究機関にそのギャップを埋めるための費用を支払ってもらうことを期待していることを示している。
10月20日、Justin Jiang (@jostinjiang)は、AIエージェント向けのSherpa Labsによる金融およびコーディングのベンチマークを発表しました。これらのテストは、個別の質問に答えるのではなく、専門的な業務を完遂することを軸に設計されています。Jiangは同社が金融、コーディング、および定量研究向けの強化学習環境を構築しており、最初の二つのベンチマークはプライベート・エクイティの取引業務や本番用ソフトウェアリポジトリから抽出したタスクで低い合格率を報告していると述べています。X上の4投稿からなるスレッドはベンチマーク結果とSherpaの採用ページへのリンクを含んでいます。
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.