Perplexityが1億9,000万件の文書を対象とする検索テストを開始し、回答は非公開にする
Q2D-Webは、本番トラフィックからエージェントが作成した69,721件のクエリを使用し、公開リーダーボード用にオープンウェイトモデルを受け入れます。
By Ryan Merket · Published · Updated
Primary source: X
なぜ重要なのか
エージェントは、リトリーバーが見つけた証拠しか引用できない。Q2D-Webは開発者に本番に即したテストを提供するが、その非公開データによってPerplexityがスコアボードを支配している。
Perplexityは9月9日にQ2D-Webを発表した。これは、AIエージェントが回答を生成する前に読むウェブページを決定する検索（retrieval）システムをテストするためのベンチマークである。
このベンチマークは約1.9億件のウェブ文書と、約2.3万件の実運用検索から派生した69,721件の機械生成検索クエリを組み合わせている。Perplexityは検索を9か月間収集し、個人を特定できる情報が含まれるとフラグされたクエリを除外し、サンプル内で最も多い10言語を保持したと、9月8日に提出された付随するtechnical paperに記している。
Maximilian Schall, Sedigheh Eslami, Markus Krimmel, Antoine Chaffin, Louis Milliken, Bo Wang and Denis BykovがPerplexityのために論文を執筆した。グループの数名はPerplexityのpplx-embedファミリーも構築しており、研究者たちはウェブ検索エージェントの初期のretrieval段階を改善する直接的な利害関係を持っている。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.