HyperBrowseComp deja sin resolver el 58% de las preguntas de búsqueda multilingües

El benchmark de 423 preguntas de Alham Fikri Aji abarca 13 idiomas y evalúa si los agentes pueden conectar pruebas a través de páginas web, video, mapas y documentos.

By · Published

Primary source: X

Por qué importa

El benchmark expone dos limitaciones operativas detrás de las afirmaciones sobre agentes de búsqueda: los resultados sólidos pueden depender de la propia pila de búsqueda del proveedor, y configuraciones alternativas de recuperación pueden consumir cientos de millones de tokens mientras responden menos preguntas. También muestra por qué las puntuaciones multilingües necesitan controles de dificultad antes de poder respaldar comparaciones limpias.

A magnifying glass crosses a mosaic of varied scripts and pictorial clues, evoking HyperBrowseComp’s multilingual, multimodal search-agent benchmark.

Un nuevo benchmark de Alham Fikri Aji (@AlhamFikri) encontró que cinco sistemas de IA evaluados no pudieron responder 244 de sus 423 preguntas usando su búsqueda web integrada. El resultado, informado en el artículo del equipo, pone un número a una debilidad persistente en los agentes de búsqueda: encontrar y verificar evidencia cuando las pistas atraviesan idiomas y formatos de medios.…

When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.

Reader comments

Conversation for this story loads after sign-in.