HyperBrowseCompは多言語の検索質問の58%を未解決のままにしている

アルハム・フィクリ・アジーの423問ベンチマークは13言語にまたがり、エージェントがウェブページ、ビデオ、地図、ドキュメントをまたいで証拠をつなげられるかをテストする。

By · Published

Primary source: X

なぜ重要なのか

ベンチマークは、検索エージェントの主張の背後にある2つの運用上の制約を明らかにする:優れた結果はプロバイダ自身の検索スタックに依存することがあり、別の検索設定では少数の質問に答えるだけで数億トークンを消費する可能性がある。また、多言語スコアが明確な比較を支えるには難易度の管理が必要である理由も示している。

A magnifying glass crosses a mosaic of varied scripts and pictorial clues, evoking HyperBrowseComp’s multilingual, multimodal search-agent benchmark.

Alham Fikri Aji (@AlhamFikri)による新しいベンチマークは、評価された5つのAIシステムが組み込みのウェブ検索を使用して423の質問のうち244に回答できなかったことを明らかにした。チームの論文で報告されたこの結果は、検索エージェントの頑固な弱点、すなわち手がかりが言語やメディア形式を横断するときの証拠の発見と検証に数値を与える。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.