HyperBrowseComp deja sin resolver el 58% de las consultas de búsqueda multilingües
El benchmark de 423 preguntas de Alham Fikri Aji abarca 13 idiomas y evalúa si los agentes pueden conectar evidencia a través de páginas web, videos, mapas y documentos.
By Ryan Merket · Published
Primary source: X
Por qué importa
El benchmark expone dos limitaciones operativas detrás de las afirmaciones de los agentes de búsqueda: los resultados sólidos pueden depender de la propia pila de búsqueda del proveedor, y las configuraciones alternativas de recuperación pueden consumir cientos de millones de tokens mientras responden menos preguntas. También muestra por qué las puntuaciones multilingües necesitan controles de dificultad antes de que puedan respaldar comparaciones claras.
Un nuevo benchmark de Alham Fikri Aji (@AlhamFikri) encontró que cinco sistemas de IA evaluados no pudieron responder 244 de sus 423 preguntas usando su búsqueda web incorporada. El resultado, reportado en el documento del equipo, pone un número a una debilidad persistente en los agentes de búsqueda: encontrar y verificar evidencias cuando las pistas cruzan idiomas y formatos de medios.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.