Perplexity 推出一项针对1.9亿文档的检索测试,并将答案保密

Q2D-Web 使用来自生产流量的 69,721 条由代理编写的查询,并接受开放权重模型参加公开排行榜。

By · Published · Updated

Primary source: X

为何重要

代理只能引用其检索器找到的证据。Q2D-Web 为开发者提供了一个接近生产环境的测试,而其私有数据则让 Perplexity 控制着记分板。

Perplexity launches a 190M-document retrieval test and keeps the answers private — Q2D-Web uses 69,721 agent-written queries from production traffic and accepts open-weight models for a public leaderboard.

Perplexity 于 9 月 9 日推出了 Q2D-Web,这是一个旨在测试检索系统的基准,这些检索系统决定了 AI 代理在撰写答案之前可以阅读哪些网页。

该基准将约 1.9 亿个网页文档与 69,721 个机器生成的搜索查询配对,这些查询来自大约 23,000 次生产搜索。Perplexity 在九个月内收集了这些搜索,删除了被标记为包含可识别个人信息的查询,并保留了样本中最常见的十种语言,具体方法见随附的技术论文,该论文于 9 月 8 日提交。

Maximilian Schall、Sedigheh Eslami、Markus Krimmel、Antoine Chaffin、Louis Milliken、Bo Wang 和 Denis Bykov 为 Perplexity 撰写了该论文。该团队的几位成员还构建了 Perplexity 的 pplx-embed 系列,这使得研究人员在改进用于网页搜索代理的首个检索阶段上拥有直接的利害关系。…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.