Perplexity、検索埋め込みとランキングのための3層スタックを公開
Ivyがリクエストを準備し、Tulipがそれらをバッチ処理し、ROSEがモデルを実行する。Perplexityによれば、このカスタムスタックによりオンラインおよびバッチの埋め込みがより高速かつ低コストになるが、本番ベンチマークは開示していない。
By RuntimeWire Staff · Published
Primary source: Perplexity
なぜ重要なのか
Perplexityは、埋め込み、ランキング、分類、スコアリング、および大規模言語モデルのワークロード向けにモデルのサービングを内製化している。その管理により消費者向け製品と開発者向けAPI全体でレイテンシとコストを下げられる可能性があるが、同社はそれらの主張を裏付ける本番ベンチマークを公表していない。
Perplexityは、CEOのAravind Srinivasが共同設立したAI検索企業であり、同社の検索プロダクトに情報を供給する埋め込み（embedding）およびランキング処理の背後にあるアーキテクチャを公開した。三層の内部スタックは、リクエスト準備、バッチスケジューリング、GPU実行が互いに足を引っ張らないように設計されている。
Perplexity's architecture thread
9月4日のスレッドはそれらのレイヤーをIvy、Tulip、ROSEと名付けている。これらは、入ってきた検索クエリから、情報を埋め込み、検索し、ランク付けし、スコアリングするトランスフォーマーモデルへ渡され、Perplexityが回答を生成するまでの経路を一緒に処理する。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.