HyperBrowseComp 使 58% 的多语言搜索问题未得到解决
Alham Fikri Aji 的 423 道问题基准测试涵盖 13 种语言，并测试代理是否能够在网页、视频、地图和文档之间连接证据。
By Ryan Merket · Published
Primary source: X
为何重要
该基准揭示了搜索代理主张背后两个运行约束：强劲的结果可能依赖于提供方自身的搜索堆栈，而替代的检索设置在回答更少的问题时可能会消耗数以亿计的 tokens。它还表明，多语种得分在能够支持直接比较之前，需要进行难度控制。
来自 Alham Fikri Aji (@AlhamFikri) 的一个新基准测试发现，五个被评估的 AI 系统在使用其内置网络搜索时未能回答 423 个问题中的 244 个。该结果在团队的 paper 中报告，为搜索代理的一个顽固弱点提供了量化数据：当线索跨越语言和媒体格式时，查找与核验证据的能力。
Aji 在 10 月 6 日的一条帖子中介绍了 HyperBrowseComp。根据 他的教员简介，他是 Mohamed bin Zayed University of Artificial Intelligence 的自然语言处理副教授，曾在 Amazon、Apple 和 Google 从事多语种 NLP 和语言技术方面的工作。该基准测试侧重于以源语言撰写的问题，这与他的研究背景相符：这并非一个机械地将英语问题翻译到其他语言的题集。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.