NVIDIA（英伟达）表示其 1B NVFP4 嵌入模型在 GB200 上处理的文档数量增加了 27%
NVIDIA 报告其 1B NVFP4 嵌入模型在 GB200 上相较于 BF16 实现了 27.1% 的吞吐量提升。另有独立的智能体模拟报告指出，采用重排序后，推理 token 数量减少了 13% 到 14%。
By RuntimeWire Staff · Published
Primary source: Hugging Face Newsroom
为何重要
代理成本部分取决于为找到有用证据而需要进行多少次搜索和推理轮次。NVIDIA 的测试表明，重排序可以减少这方面的工作，而解析器有助于使图表、表格和扫描页面可搜索。需要独立复现来评估这些基准提升是否会转化到客户的文档处理流水线和硬件上。
NVIDIA 已发布一组面向 AI 代理的新型检索模型，并表示在测试中其重新排序器将代币使用量降低了 13% 至 14%，同时提高了检索准确性。该模型旨在搜索文本和文档图像、对可能的证据进行排序，并将页面转换为结构化数据。…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.