HyperBrowseComp deja sin resolver el 58% de las preguntas de búsqueda multilingües
El benchmark de 423 preguntas de Alham Fikri Aji abarca 13 idiomas y evalúa si los agentes pueden conectar pruebas a través de páginas web, video, mapas y documentos.
By Ryan Merket · Published
Primary source: X
Por qué importa
El benchmark expone dos limitaciones operativas detrás de las afirmaciones sobre agentes de búsqueda: los resultados sólidos pueden depender de la propia pila de búsqueda del proveedor, y configuraciones alternativas de recuperación pueden consumir cientos de millones de tokens mientras responden menos preguntas. También muestra por qué las puntuaciones multilingües necesitan controles de dificultad antes de poder respaldar comparaciones limpias.

Un nuevo benchmark de Alham Fikri Aji (@AlhamFikri) encontró que cinco sistemas de IA evaluados no pudieron responder 244 de sus 423 preguntas usando su búsqueda web integrada. El resultado, informado en el artículo del equipo, pone un número a una debilidad persistente en los agentes de búsqueda: encontrar y verificar evidencia cuando las pistas atraviesan idiomas y formatos de medios.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.