NVIDIA dice que su modelo de embeddings 1B NVFP4 procesa 27% más documentos en GB200
NVIDIA informa un aumento del rendimiento del 27.1% para su modelo de embeddings 1B NVFP4 frente a BF16 en GB200. Simulaciones separadas de agentes reportan entre 13% y 14% menos tokens de inferencia con reordenamiento.
By RuntimeWire Staff · Published · Updated
Primary source: Hugging Face Newsroom
Por qué importa
Los costos de los agentes dependen en parte de cuántas búsquedas y rondas de razonamiento se requieren para encontrar evidencia útil. Las pruebas de NVIDIA sugieren que el reordenamiento puede reducir ese trabajo, mientras que el analizador ayuda a hacer que gráficos, tablas y páginas escaneadas sean buscables. Se necesita una reproducción independiente para evaluar si esas mejoras en las pruebas de referencia se trasladan a las canalizaciones de documentos y al hardware de los clientes.
NVIDIA ha lanzado un nuevo conjunto de modelos de recuperación para agentes de IA, afirmando que añadir su reranker redujo el uso de tokens entre 13% y 14% en pruebas mientras mejora la precisión de recuperación. Los modelos están diseñados para buscar texto e imágenes de documentos, ordenar evidencia probable y convertir páginas en datos estructurados.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.