NVIDIAは、その1B NVFP4埋め込みモデルがGB200で27%多くのドキュメントを処理すると述べている
NVIDIAは、GB200上でBF16に対して自社の1B NVFP4埋め込みモデルがスループットで27.1%の向上を示したと報告している。別のエージェントシミュレーションでは、リランキングを用いることで推論トークンが13%から14%少なくなると報告されている。
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
なぜ重要なのか
エージェントのコストは、有用な証拠を見つけるために必要な検索や推論のターン数に部分的に依存する。NVIDIAのテストは、再ランキングがその作業量を削減できることを示唆しており、パーサーはチャート、表、スキャンしたページを検索可能にするのに役立つ。これらのベンチマーク上の改善が顧客の文書パイプラインやハードウェアに波及するかどうかを評価するには、独立した再現実験が必要だ。
NVIDIAはAIエージェント向けの新しい検索モデル群を公開し、リランカーを追加することでテストでトークン使用量が13%〜14%削減されたと述べ、検索精度も向上したとしています。これらのモデルはテキストや文書画像を検索し、関連しそうな証拠をランク付けし、ページを構造化データに変換するよう設計されています。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.