Scale AI lanza un benchmark de razonamiento visual donde el modelo con mejor puntuación alcanza 53.6%
El benchmark HSS abierto evalúa la inferencia en 288 imágenes y 234 videos; 20 participantes humanos obtuvieron una puntuación de 93.1% bajo las mismas condiciones de formato libre.
By Ryan Merket · Published
Primary source: X
Por qué importa
HSS mide la inferencia visual que las pruebas estándar de percepción y conocimiento pueden pasar por alto, mientras que sus resultados sugieren que el tiempo adicional de razonamiento por sí solo puede no corregir las fallas de los modelos para identificar indicios, relaciones espaciales y el contexto social.
Scale AI y Elorian lanzaron Humanity's Sixth Sense (HSS) el 7 de octubre de 2026, un benchmark que pone una debilidad persistente de la IA multimodal en un marcador: el mejor modelo evaluado respondió correctamente en el 53.6% de las tareas, frente al 93.1% de los participantes humanos. El anuncio de Scale nombra GPT-6-astra como el modelo líder en el lanzamiento; la mediana de 25 modelos fue 30.9%.…
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.